一种媒体内容标签识别方法、装置、设备及存储介质制造方法及图纸

本申请公开了一种媒体内容标签识别方法、装置、设备及存储介质。该方法包括：获取待识别媒体内容对应的多模态特征信息；将所述多模态特征信息输入特征融合网络，在所述特征融合网络中，基于所述多模态特征信息对应的融合参数对所述多模态特征信息进行融合处理，得到目标融合特征信息，所述融合参数用于在所述多模态特征信息进行融合处理过程中，筛选融合的特征信息；对所述目标融合特征信息进行标签识别，得到所述待识别媒体内容对应的目标内容标签。本申请在对媒体内容进行标签识别的场景上，提升目标融合特征信息对媒体内容表征的准确性，从而提升媒体内容标签识别的准确性。从而提升媒体内容标签识别的准确性。从而提升媒体内容标签识别的准确性。

【技术实现步骤摘要】
一种媒体内容标签识别方法、装置、设备及存储介质


[0001]本申请涉及人工智能
，尤其涉及一种媒体内容标签识别方法、装置、设备及存储介质。

技术介绍

[0002]近年来，视频化媒体内容的信息传播形式风靡全球，相比于以文本进行信息传播的传统方式，视频化媒体内容拥有着比文本信息量更丰富的多模态信息、浏览方式更为便捷且更具冲击力等优势。相比于文本形式的信息，视频化媒体内容范围广泛、形式各样，因此需要通过一系列标签来对视频化媒体内容进行概括，从而便于上层业务方完成视频化媒体内容的分发。
[0003]然而，现有的媒体内容标签识别方法通常单独利用视频化媒体内容的图像特征信息或者文本特征信息进行标签识别，忽略了视觉信息和文本信息的互补特性，导致标签识别的准确性较低。因此，需要提供一种更加准确的技术方案。

技术实现思路

[0004]本申请提供了一种媒体内容标签识别方法、装置、设备及存储介质，可以在对媒体内容进行标签识别的场景上，提升目标融合特征信息对媒体内容表征的准确性，从而提升媒体内容标签识别的准确性，本申请技术方案如下：
[0005]一方面，提供了一种媒体内容标签识别方法，所述方法包括：
[0006]获取待识别媒体内容对应的多模态特征信息；
[0007]将所述多模态特征信息输入特征融合网络，在所述特征融合网络中，基于所述多模态特征信息对应的融合参数对所述多模态特征信息进行融合处理，得到目标融合特征信息，所述融合参数用于在所述多模态特征信息进行融合处理过程中，筛选融合的特征信息；
[0008]对所述目标融合特征信息进行标签识别，得到所述待识别媒体内容对应的目标内容标签。
[0009]另一方面，提供了一种媒体内容标签识别装置，所述方法包括：
[0010]多模态特征信息获取模块，用于获取待识别媒体内容对应的多模态特征信息；
[0011]融合处理模块，用于将所述多模态特征信息输入特征融合网络，在所述特征融合网络中，基于所述多模态特征信息对应的融合参数对所述多模态特征信息进行融合处理，得到目标融合特征信息，所述融合参数用于在所述多模态特征信息进行融合处理过程中，筛选融合的特征信息；
[0012]标签识别模块，用于对所述目标融合特征信息进行标签识别，得到所述待识别媒体内容对应的目标内容标签。
[0013]另一方面，提供了一种媒体内容标签识别设备，所述设备包括处理器和存储器，所述存储器中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由所述处理器加载并执行以实现如第一方面所述的媒体内容标签识别方法。
[0014]另一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由处理器加载并执行以实现如第一方面所述的媒体内容标签识别方法。
[0015]另一方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行如第一方面所述的媒体内容标签识别方法。
[0016]本申请提供的一种媒体内容标签识别方法、装置、设备及存储介质，具有如下技术效果：
[0017]本申请在对媒体内容进行标签识别的场景上，通过获取待识别媒体内容对应的多模态特征信息；然后，将多模态特征信息输入特征融合网络，在所述特征融合网络中，基于所述多模态特征信息对应的融合参数对所述多模态特征信息进行融合处理，可以有针对地进行融合特征信息的筛选，通过图文互索，提升得到的目标融合特征信息对多模态特征信息的表征精准性；接着，对所述目标融合特征信息进行标签识别，得到所述待识别媒体内容对应的目标内容标签，可以大大提高对媒体内容进行标签识别的准确性和完整性。
附图说明
[0018]为了更清楚地说明本申请实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
[0019]图1是本申请实施例提供的一种应用环境的示意图；
[0020]图2是本申请实施例提供的一种媒体内容标签识别方法的流程示意图；
[0021]图3是本申请实施例提供的一种将多模态特征信息输入特征融合网络，在特征融合网络中，基于多模态特征信息对应的融合参数对多模态特征信息进行融合处理，得到目标融合特征信息的流程示意图；
[0022]图4是本申请实施例提供的一种将多模态特征信息输入融合参数生成层进行参数生成，得到融合参数的流程示意图；
[0023]图5是本申请实施例提供的一种将多模态特征信息和融合参数输入特征选择层进行特征选择，得到多模态特征选择信息的流程示意图；
[0024]图6是本申请实施例提供的一种基于标签识别网络，对目标融合特征信息进行标签识别，得到待识别媒体内容对应的目标内容标签的流程示意图；
[0025]图7是本申请实施例提供的一种对目标融合特征信息进行标签识别，得到待识别媒体内容对应的目标内容标签的流程示意图；
[0026]图8是本申请实施例提供的一种网络训练方法的流程示意图；
[0027]图9是本申请实施例提供的一种媒体内容标签识别网络的示意图；
[0028]图10是本申请实施例提供的一种媒体内容标签识别装置的组成框图；
[0029]图11是本申请实施例提供的一种媒体内容标签识别设备的结构示意图。
具体实施方式
[0030]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0031]需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0032]可以理解的是，在本申请的具体实施方式中，涉及到用户信息等相关的数据，当本申请以上实施例运用到具体产品或技术中时，需要获得用户许可或者同意，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
[0033]请参阅图1，图1是本申请实施例提供的一种应用环境的示意图，该应用环境中可以包括客户端10和服务器端20，客户端10与服务器端20可以通过有线或无线通信方式进行直接或间接地连接。用户可以通过客户端10向服务器端20发送媒体内容标签识别请求。服务器端2本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种媒体内容标签识别方法，其特征在于，所述方法包括：获取待识别媒体内容对应的多模态特征信息；将所述多模态特征信息输入特征融合网络，在所述特征融合网络中，基于所述多模态特征信息对应的融合参数对所述多模态特征信息进行融合处理，得到目标融合特征信息，所述融合参数用于在所述多模态特征信息进行融合处理过程中，筛选融合的特征信息；对所述目标融合特征信息进行标签识别，得到所述待识别媒体内容对应的目标内容标签。2.根据权利要求1所述的方法，其特征在于，所述特征融合网络包括融合参数生成层、特征选择层和特征融合层，所述将所述多模态特征信息输入特征融合网络，在所述特征融合网络中，基于所述多模态特征信息对应的融合参数对所述多模态特征信息进行融合处理，得到目标融合特征信息包括：将所述多模态特征信息输入所述融合参数生成层进行参数生成，得到所述融合参数；将所述多模态特征信息和所述融合参数输入所述特征选择层进行特征选择，得到多模态特征选择信息；将所述多模态特征选择信息输入所述特征融合层进行融合处理，得到所述目标融合特征信息。3.根据权利要求2所述的方法，其特征在于，所述融合参数生成层包括拼接层、第一映射层和参数生成层，所述将所述多模态特征信息输入所述融合参数生成层进行参数生成，得到所述融合参数包括：将所述多模态特征信息输入所述拼接层进行拼接处理，得到第一融合特征信息；将所述第一融合特征信息输入所述第一映射层进行特征映射处理，得到第二融合特征信息；将所述第二融合特征信息输入所述参数生成层进行参数生成，得到所述融合参数。4.根据权利要求2所述的方法，其特征在于，所述特征选择层包括：第二映射层和加权处理层，所述将所述多模态特征信息和所述融合参数输入所述特征选择层进行特征选择，得到多模态特征选择信息包括：将所述多模态特征信息输入所述第二映射层进行特征映射处理，得到多模态映射特征信息；将所述多模态映射特征信息和所述融合参数输入所述加权处理层，基于所述融合参数对所述多模态映射特征信息进行加权处理，得到所述多模态特征选择信息。5.根据权利要求1至4任一所述的方法，其特征在于，所述方法还包括：获取样本媒体内容对应的样本多模态特征信息和预设内容标签；将所述样本多模态特征信息输入预设特征融合网络，在所述预设特征融合网络中，基于所述样本多模态特征信息对应的样本融合参数对所述样本多模态特征信息进行融合处理，得到样本融合特征信息；对所述样本融合特征信息进行标签识别，得到所述样本媒体内容对应的样本内容标签；基于所述预设内容标签和所述样本内容标签，确定目标损失信息；基于所述目标损失信息，训练所述预设特征融合网络，得到所述特征融合网络。
6.根据权利要求1至4任...

【专利技术属性】
技术研发人员：黄剑辉，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：