本公开实施例提供了一种多模态特征融合方法、装置、计算设备以及介质，涉及机器学习技术领域。该方法包括：提取多媒体资源的多个模态中各个模态的特征；将各个模态的特征在模态维度进行组合，生成多通道特征，其中，多通道特征的每个通道与一个模态对应；对多通道特征进行卷积处理，生成多通道特征对应的融合特征。根据本公开实施例的技术方案，能够实现不同模态特征之间的信息互补，有效融合不同模态的特征。征。征。
【技术实现步骤摘要】
多模态特征融合方法、装置、计算设备以及介质
[0001]本公开的实施方式涉及机器学习
，更具体地，本公开的实施方式涉及多模态特征融合方法、多模态特征融合装置、计算设备以及介质。
技术介绍
[0002]本部分旨在为权利要求书中陈述的本公开的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。
[0003]随着互联网技术的发展，网络上涌现的多媒体资源也越来越多。对于多媒体资源，例如，由图像、音频等多种模态数据组成的视频，如何提取多媒体资源的特征成为了关注的重点。
[0004]在相关的技术方案中，提取多媒体资源的各个模态的特征，将各个模态的特征在某一个维度上直接进行数值拼接。举例而言，设多媒体资源的两个模态的特征包括：一维特征a和一维特征b，其中，a＝[1,2,3]，b＝[7,6,5,4]，将特征a和特征b在当前单一维度上进行特征拼接，得到一维特征c＝[1,2,3,7,6,5,4]。
技术实现思路
[0005]但是，上述技术方案中，由于是在单一维度上进行拼接操作，没有考虑各个模态的特征之间的相互关系，无法实现各个模态之间的信息互补。
[0006]为此，非常需要一种改进的多模态特征融合方法，以使能够实现不同模态特征之间的信息互补，对不同模态的特征进行有效融合。
[0007]在本上下文中，本公开的实施方式期望提供一种多模态特征融合方法、多模态特征融合装置、计算设备以及介质。
[0008]在本公开实施例的第一方面中，提供了一种多模态特征融合方法，包括：提取多媒体资源的多个模态中各个模态的特征；将各个模态的特征在模态维度进行组合，生成多通道特征，其中，所述多通道特征的每个通道与一个所述模态对应；对所述多通道特征进行卷积处理，生成所述多通道特征对应的融合特征。
[0009]根据本公开的第一方面，在一些示例实施例中，所述多通道特征为L
×
D
×
N维的特征向量，所述N为所述多个模态的模态数量，所述对所述多通道特征进行卷积处理，包括：通过C1个第一卷积核对所述多通道特征在维度D的方向上进行卷积处理，生成第一融合特征，所述第一卷积核的大小根据所述维度D的数值确定，所述第一融合特征的维度为L
×
D
×
C1。
[0010]根据本公开的第一方面，在一些示例实施例中，所述对所述多通道特征进行卷积处理，还包括：通过C2个第二卷积核对所述第一融合特征在维度D的方向上进行卷积处理，生成第二融合特征，所述第二融合特征的维度为L
×
D
×
C2，所述第二卷积核的大小小于所述第一卷积核的大小。
[0011]根据本公开的第一方面，在一些示例实施例中，所述方法还包括：在提取各个模态的特征之后，基于预定分组对各个模态的特征进行特征聚合；基于特征聚合的结果生成具
有相同维度的各个模态的特征向量。
[0012]根据本公开的第一方面，在一些示例实施例中，所述基于预定分组对各个模态的特征进行特征聚合，包括：采用Nextvlad模型，基于预定分组对各个模态的不同维度的特征进行特征聚合。
[0013]根据本公开的第一方面，在一些示例实施例中，所述方法还包括：对所述融合特征在所述模态维度进行拉伸处理，生成对应的第三融合特征。
[0014]根据本公开的第一方面，在一些示例实施例中，所述多媒体资源包括视频的图像帧数据、音频数据以及文本数据，所述提取多媒体资源的多个模态的特征，包括：从所述图像帧数据中提取所述视频对应的图像特征；从所述音频数据中提取所述视频对应的音频特征；以及从所述文本数据中提取所述视频对应的文本特征。
[0015]根据本公开的第一方面，在一些示例实施例中，所述多个模态包括图像模态、音频模态、文本模态中的至少两种模态。
[0016]在本公开实施例的第二方面中，提供了一种多模态特征融合装置，包括：特征提取模块，用于提取多媒体资源的多个模态中各个模态的特征；模态组合模块，用于将各个模态的特征在模态维度进行组合，生成多通道特征，其中，所述多通道特征的每个通道与一个所述模态对应；卷积处理模块，用于对所述多通道特征进行卷积处理，生成所述多通道特征对应的融合特征。
[0017]根据本公开的第二方面，在一些示例实施例中，所述多通道特征为L
×
D
×
N维的特征向量，所述N为所述多个模态的模态数量，所述卷积处理模块还用于：通过C1个第一卷积核对所述多通道特征在维度D的方向上进行卷积处理，生成第一融合特征，所述第一卷积核的大小根据所述维度D的数值确定，所述第一融合特征的维度为L
×
D
×
C1。
[0018]根据本公开的第二方面，在一些示例实施例中，所述卷积处理模块还用于：通过C2个第二卷积核对所述第一融合特征在维度D的方向上进行卷积处理，生成第二融合特征，所述第二融合特征的维度为L
×
D
×
C2，所述第二卷积核的大小小于所述第一卷积核的大小。
[0019]根据本公开的第二方面，在一些示例实施例中，所述装置还包括：特征聚合模块，用于在提取各个模态的特征之后，基于预定分组对各个模态的特征进行特征聚合；特征生成模块，用于基于特征聚合的结果生成具有相同维度的各个模态的特征向量。
[0020]根据本公开的第二方面，在一些示例实施例中，所述特征聚合模块还用于：采用Nextvlad模型，基于预定分组对各个模态的不同维度的特征进行特征聚合。
[0021]根据本公开的第二方面，在一些示例实施例中，所述装置还包括：拉伸处理模块，用于对所述融合特征在所述模态维度进行拉伸处理，生成对应的第三融合特征。
[0022]根据本公开的第二方面，在一些示例实施例中，所述多媒体资源包括视频的图像帧数据、音频数据以及标题数据，所述特征提取模块还用于：从所述图像帧数据中提取所述视频对应的图像特征；从所述音频数据中提取所述视频对应的音频特征；以及从所述标题数据中提取所述视频对应的标题特征。
[0023]根据本公开的第二方面，在一些示例实施例中，所述多个模态包括图像、音频、文字中的至少两种模态。
[0024]在本公开实施例的第三方面中，提供了一种计算设备，包括：处理器和存储器，所述存储器存储有可执行指令，所述处理器用于调用所述存储器存储的可执行指令执行如上
述第一方面中任一项所述的方法。
[0025]在本公开实施例的第四方面中，提供了一种介质，其上存储有程序，该程序被处理器执行时实现如上述第一方面中任一项所述的方法。
[0026]根据本公开实施例的技术方案，一方面，采用卷积处理的方式对不同模态特征组合成的多通道特征进行通道间的融合处理，能够实现不同模态特征之间的信息互补，使不同模态的特征实现有效融合；另一方面，由于融合结果不依赖于特征向量的本身的特征值大小，从而降低了单一特征值较大的影响；再一方面，由于挖掘了各个模本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种多模态特征融合方法，其特征在于，包括：提取多媒体资源的多个模态中各个模态的特征；将各个模态的特征在模态维度进行组合，生成多通道特征，其中，所述多通道特征的每个通道与一个所述模态对应；对所述多通道特征进行卷积处理，生成所述多通道特征对应的融合特征。2.根据权利要求1所述的方法，其特征在于，所述多通道特征为L
×
D
×
N维的特征向量，所述N为所述多个模态的模态数量，所述对所述多通道特征进行卷积处理，包括：通过C1个第一卷积核对所述多通道特征在维度D的方向上进行卷积处理，生成第一融合特征，所述第一卷积核的大小根据所述维度D的数值确定，所述第一融合特征的维度为L
×
D
×
C1。3.根据权利要求2所述的方法，其特征在于，所述对所述多通道特征进行卷积处理，还包括：通过C2个第二卷积核对所述第一融合特征在维度D的方向上进行卷积处理，生成第二融合特征，所述第二融合特征的维度为L
×
D
×
C2，所述第二卷积核的大小小于所述第一卷积核的大小。4.根据权利要求1所述的方法，其特征在于，所述方法还包括：在提取各个模态的特征之后，基于预定分组对各个模态的特征进行特征聚合；基于特征聚合的结果生成具有相同维度的各个模态...
【专利技术属性】
技术研发人员：石佳影，许盛辉，潘照明，
申请(专利权)人：网易传媒科技北京有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。