用于识别视频的方法、装置、电子设备及可读存储介质制造方法及图纸

本申请实施例公开了用于识别视频的方法、装置、电子设备及计算机可读存储介质，涉及计算机视觉、云服务、深度学习技术领域，可用于视频搜索场景。该方法的一具体实施方式包括：获取待识别图像；根据图像相似度筛选出与待识别图像相似的视频关键帧集，视频关键帧集中的多张视频关键帧按与待识别图像的图像相似度大小顺序排列；确定待识别图像中图像内容所属的内容类别，并对视频关键帧集中多张视频关键帧的当前排列顺序按与内容类别的接近程度进行调整，得到调整后视频关键帧排序；分别确定与调整后视频关键帧排序中每个视频关键帧所属的匹配视频，得到匹配视频排序。该实施方式提升了确定出的视频与待识别图像的匹配程度。

【技术实现步骤摘要】
用于识别视频的方法、装置、电子设备及可读存储介质
本申请涉及人工智能领域，具体涉及计算机视觉、云服务、深度学习
，尤其涉及用于识别视频的方法、装置、电子设备及计算机可读存储介质。
技术介绍
视觉搜索是以图像，视频等内容作为搜索的输入源，利用视觉识别相关技术，将输入的视觉内容识别检索，并返回相关图像、文字等多种形态结果的技术。随着视觉搜索的技术不断的发展，视觉搜索返回给用户的搜索结果由文字发展到图像，由图像发展到视频，不断更新迭代来满足不同用户的搜索需求。现有通常对用户给定的待识别图像进行猜词处理，然后根据猜出的搜索关键词来搜索相应的视频，并将搜索出的视频作为识别结果反馈给用户。
技术实现思路
本申请实施例提出了一种用于识别视频的方法、装置、电子设备及计算机可读存储介质。第一方面，本申请实施例提出了一种用于识别视频的方法，包括：获取待识别图像；根据图像相似度筛选出与待识别图像相似的视频关键帧集，视频关键帧集中的多张视频关键帧按与待识别图像的图像相似度大小顺序排列；根据待识别图像的图像内容确定图像内容类别，并对视频关键帧集中多张视频关键帧的当前排列顺序按与图像内容类别的接近程度进行调整，得到调整后视频关键帧排序；分别确定与调整后视频关键帧排序中每个视频关键帧所属的匹配视频，得到匹配视频排序。第二方面，本申请实施例提出了一种用于识别视频的装置，包括：待识别图像获取单元，被配置成获取待识别图像；视频关键帧集确定单元，被配置成根据图像相似度筛选出与待识别图像相似的视频关键帧集，视频关键帧集中的多张视频关键帧按与待识别图像的图像相似度大小顺序排列；排序调整单元，被配置成根据待识别图像的图像内容确定图像内容类别，并对视频关键帧集中多张视频关键帧的当前排列顺序按与图像内容类别的接近程度进行调整，得到调整后视频关键帧排序；匹配视频确定单元，被配置成分别确定与调整后视频关键帧排序中每个视频关键帧所属的匹配视频，得到匹配视频排序。第三方面，本申请实施例提供了一种电子设备，该电子设备包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，该指令被至少一个处理器执行，以使至少一个处理器执行时能够实现如第一方面中任一实现方式描述的用于识别视频的方法。第四方面，本申请实施例提供了一种存储有计算机指令的非瞬时计算机可读存储介质，该计算机指令用于使计算机执行时能够实现如第一方面中任一实现方式描述的用于识别视频的方法。本申请实施例提供的用于识别视频的方法、装置、电子设备及计算机可读存储介质，首先，获取待识别图像；然后，根据图像相似度筛选出与待识别图像相似的视频关键帧集，该视频关键帧集中的多张视频关键帧按与待识别图像的图像相似度大小顺序排列；接着，根据待识别图像的图像内容确定图像内容类别，并对视频关键帧集中多张视频关键帧的当前排列顺序按与图像内容类别的接近程度进行调整，得到调整后视频关键帧排序；最后，分别确定与调整后视频关键帧排序中每个视频关键帧所属的匹配视频，得到匹配视频排序。本申请通过依次按照在视觉的图像相似度和图像内容所属类别来逐步提升筛选出的视频关键帧和其相似度排序的准确度，即通过两个不同角度的特征来共同用于判断哪些视频关键帧与待识别图像更加匹配，以使得基于调整后视频关键帧排序确定出的匹配视频与待识别图像的匹配度更高。应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。附图说明通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：图1是本申请可以应用于其中的示例性系统架构；图2为本申请实施例提供的一种用于识别视频的方法的流程图；图3为本申请实施例提供的另一种用于识别视频的方法的流程图；图4为本申请实施例提供的在一应用场景下的用于识别视频的方法的流程示意图；图5为本申请实施例提供的一种用于识别视频的装置的结构框图；图6为本申请实施例提供的一种适用于执用于识别视频的方法的电子设备的结构示意图。具体实施方式下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关专利技术，而非对该专利技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关专利技术相关的部分。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。图1示出了可以应用本申请的用于识别视频的方法、装置、电子设备及计算机可读存储介质的实施例的示例性系统架构100。如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103和服务器105上可以安装有各种用于实现两者之间进行信息通讯的应用，例如视频搜索类应用、以图搜图类应用、即时通讯类应用等。终端设备101、102、103和服务器105可以是硬件，也可以是软件。当终端设备101、102、103为硬件时，可以是具有显示屏的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等；当终端设备101、102、103为软件时，可以安装在上述所列举的电子设备中，其可以实现成多个软件或软件模块，也可以实现成单个软件或软件模块，在此不做具体限定。当服务器105为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器；服务器为软件时，可以实现成多个软件或软件模块，也可以实现成单个软件或软件模块，在此不做具体限定。服务器105通过内置的各种应用可以提供各种服务，以可以提供基于以图搜图原理的搜索用户给定图像对应的视频服务的视频搜索类应用为例，服务器105在运行该视频搜索类应用时可实现如下效果：首先，通过网络104从终端设备101、102、103中接收用户上传的待识别图像；然后，根据图像相似度筛选出与待识别图像相似的视频关键帧集，该视频关键帧集中的多张视频关键帧按与待识别图像的图像相似度大小顺序排列；接着，根据待识别图像的图像内容确定图像内容类别，并对视频关键帧集中多张视频关键帧的当前排列顺序按与图像内容类别的接近程度进行调整，得到调整后视频关键帧排序；最后，分别确定与调整后视频关键帧排序中每个视频关键帧所属的匹配视频，得到匹配视频排序。需要指出的是，待识别图像除可以从终端设备101、102、103通过网络104获取到之外，也可以通过各种方式预先存储在服务器105本地。因此，当服务器105检测到本地已经存储本文档来自技高网...

【技术保护点】
1.一种用于识别视频的方法，包括：/n获取待识别图像；/n根据图像相似度筛选出与所述待识别图像相似的视频关键帧集，所述视频关键帧集中的多张视频关键帧按与所述待识别图像的图像相似度大小顺序排列；/n确定所述待识别图像中图像内容所属的内容类别，并对所述视频关键帧集中多张视频关键帧的当前排列顺序按与所述内容类别的接近程度进行调整，得到调整后视频关键帧排序；/n分别确定与所述调整后视频关键帧排序中每个视频关键帧所属的匹配视频，得到匹配视频排序。/n

【技术特征摘要】
1.一种用于识别视频的方法，包括：
获取待识别图像；
根据图像相似度筛选出与所述待识别图像相似的视频关键帧集，所述视频关键帧集中的多张视频关键帧按与所述待识别图像的图像相似度大小顺序排列；
确定所述待识别图像中图像内容所属的内容类别，并对所述视频关键帧集中多张视频关键帧的当前排列顺序按与所述内容类别的接近程度进行调整，得到调整后视频关键帧排序；
分别确定与所述调整后视频关键帧排序中每个视频关键帧所属的匹配视频，得到匹配视频排序。


2.根据权利要求1所述的方法，其中，所述根据图像相似度筛选出与所述待识别图像相似的视频关键帧集，包括：
将所述待识别图像输入预设的图像相似度计算模型；
接收所述图像相似度计算模型输出的预设的视频关键帧集合中各视频关键帧分别与所述待识别图像之间的图像相似度；
取所述图像相似度的大小在前设定数量的视频关键帧生成所述视频关键帧集。


3.根据权利要求2所述的方法，其中，所述图像相似度计算模型在全连接层后增设有依次连接的2个卷积层和1个线性整流层。


4.根据权利要求1所述的方法，其中，所述确定所述待识别图像中图像内容所属的内容类别，包括：
利用预设的图像分类模型对所述待识别图像进行针对图像内容的语义识别操作，并根据得到的语义识别结果确定出所述内容类别。


5.根据权利要求4所述的方法，其中，所述图像分类模型在全连接层后增设有依次连接的2个卷积层和1个线性整流层。


6.根据权利要求1所述的方法，其中，所述获取待识别图像包括：
响应于接收到传入的待识别视频，从所述待识别视频中提取待识别关键帧，并将所述待识别关键帧作为所述待识别图像。


7.根据权利要求1所述的方法，其中，所述获取待识别图像包括：
响应于接收到传入的待识别视频和时间指示信息，将所述待识别视频中与所述时间指示信息对应的目标视频帧作为所述待识别图像。


8.根据权利要求1至7任一项所述的方法，其中，响应于所述图像相似度通过预设的第一维度数特征进行比较得到，还包括：
将所述内容类别表达为预设的第二维度数特征；以及
所述对所述视频关键帧集中多张视频关键帧的当前排列顺序按与所述内容类别的接近程度进行调整，得到调整后视频关键帧排序，包括：
将所述视频关键帧集中的每张视频关键帧的第一维度数特征与其第二维度数特征进行拼接，得到拼接后特征；
根据所述视频关键帧的拼接后特征与所述待识别图像的拼接后特征计算得到综合特征相似度，得到按所述综合相似度从大到小排列的调整后视频关键帧排序。


9.根据权利要求8所述的方法，其中，所述根据所述视频关键帧的拼接后特征与所述待识别图像的拼接后特征计算得到综合特征相似度，包括：
利用预设的检索模型计算得到所述视频关键帧和所述待识别图像各自的拼接后特征间的特征相似度，得到所述综合特征相似度。


10.一种用于识别视频的装置，包括：
待识别图像获取单元，被配置成获取待识别图像；
视频关键帧集确定单元，被配置成根据图像相似度筛选出与所述待识别图像相似的视频关键帧集，所述视频关键帧集中的多张视频关键帧按与所述待识别图像的图像相似度大小顺序排列；
排序调整单元，被配置成确定所述待识别图像中图像内容所属的内容类别，并对所述视频关键帧集中多张视频关键帧的当前排列顺序按与所述内容类别的接近程度进行调整，得到调整后视频关键...

【专利技术属性】
技术研发人员：代江，付程晗，范学峰，李国洪，高菲，
申请(专利权)人：百度在线网络技术北京有限公司，
类型：发明
国别省市：北京;11