多媒体信息处理方法、装置、设备及存储介质制造方法及图纸

本公开涉及一种多媒体信息处理方法、装置、设备及存储介质。本公开通过将多媒体信息中的每个模态信息输入与该模态信息对应的特征提取网络中，多个模态信息中存在至少一个目标模态信息，针对每个目标模态信息，可以通过该目标模态信息对应的特征提取网络中的预设计算层对该目标模态信息的特征信息和至少一个其他模态信息的特征信息进行融合处理。由于在每个模态信息的特征信息被提取的过程中，对不同模态信息的特征信息进行融合即模态间的特征融合，因此，保证了每个模态信息中的部分信息在丢失之前就可以进行模态间的特征融合。由于充分利用了多个模态信息之间的相关性，从而实现了更有效的信息融合，因此可以准确识别出多媒体信息中存在的风险。出多媒体信息中存在的风险。出多媒体信息中存在的风险。

Multimedia information processing method, device, equipment and storage medium

【技术实现步骤摘要】
多媒体信息处理方法、装置、设备及存储介质


[0001]本公开涉及信息
，尤其涉及一种多媒体信息处理方法、装置、设备及存储介质。

技术介绍

[0002]随着科技的不断发展，用户可以在终端上安装各种不同的应用(Application,APP)程序，以满足用户的不同需求。例如，用户可以通过社交类APP将自己制作的多媒体信息，例如文本、图片、语音、视频等上传到第三方平台，或者第三方平台可以制作或预存有多媒体信息，以便其他用户通过第三方平台浏览观看。
[0003]为了确保多媒体信息的网络传播是安全的，通常需要通过算法或人工审核方式识别多媒体信息中是否存在风险，从而对存在风险的多媒体信息进行屏蔽。
[0004]但是，本申请的专利技术人发现，传统的视频识别算法无法准确的识别出多媒体信息中存在的风险。

技术实现思路

[0005]为了解决上述技术问题或者至少部分地解决上述技术问题，本公开提供了一种多媒体信息处理方法、装置、设备及存储介质，从而避免了每个模态信息在特征提取过程中就导致部分信息过早丢失的问题，因此在特征提取过程中，由于充分利用了多个模态信息之间的相关性，从而实现了更有效的信息融合，从而可以准确识别出多媒体信息中存在的风险。
[0006]第一方面，本公开实施例提供一种多媒体信息处理方法，包括：
[0007]获取多媒体信息中的多个模态信息，所述多个模态信息与多个特征提取网络一一对应；
[0008]将所述多个模态信息中的每个模态信息输入与所述模态信息对应的特征提取网络中；
[0009]针对所述多个模态信息中的至少一个目标模态信息，通过所述目标模态信息对应的特征提取网络中的预设计算层对所述目标模态信息的特征信息和至少一个其他模态信息的特征信息进行融合处理；
[0010]根据每个特征提取网络中最后一个计算层输出的特征信息，对所述多媒体信息进行风险评估。
[0011]第二方面，本公开实施例提供一种信息融合方法，所述方法包括：
[0012]获取虚拟现实设备周围环境中的真实世界信息和所述虚拟现实设备的显示组件所呈现的虚拟世界信息；
[0013]将所述真实世界信息输入第一特征提取网络，将所述虚拟世界信息输入第二特征提取网络；
[0014]通过所述第一特征提取网络中的预设计算层对所述真实世界信息的特征信息和
所述虚拟世界信息的特征信息进行融合处理，和/或，通过所述第二特征提取网络中的预设计算层对所述虚拟世界信息的特征信息和所述真实世界信息的特征信息进行融合处理。
[0015]第三方面，本公开实施例提供一种对象识别方法，所述方法包括：
[0016]获取第一图像，所述第一图像是目标对象在第一成像条件下得到的；
[0017]调整所述第一成像条件，得到第二成像条件；
[0018]获取第二图像，所述第二图像是所述目标对象在所述第二成像条件下得到的；
[0019]根据所述第一图像、所述第二图像、所述第一成像条件和所述第二成像条件，确定所述目标对象是否为实物对象。
[0020]第四方面，本公开实施例提供一种多媒体信息处理装置，包括：
[0021]获取模块，用于获取多媒体信息中的多个模态信息，所述多个模态信息与多个特征提取网络一一对应；
[0022]第一输入模块，用于将所述多个模态信息中的每个模态信息输入与所述模态信息对应的特征提取网络中；
[0023]融合模块，用于针对所述多个模态信息中的至少一个目标模态信息，通过所述目标模态信息对应的特征提取网络中的预设计算层对所述目标模态信息的特征信息和至少一个其他模态信息的特征信息进行融合处理；
[0024]风险评估模块，用于根据每个特征提取网络中最后一个计算层输出的特征信息，对所述多媒体信息进行风险评估。
[0025]第五方面，本公开实施例提供一种电子设备，包括：
[0026]存储器；
[0027]处理器；以及
[0028]计算机程序；
[0029]其中，所述计算机程序存储在所述存储器中，并被配置为由所述处理器执行以实现如第一方面所述的方法。
[0030]第六方面，本公开实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行以实现第一方面所述的方法。
[0031]本公开实施例提供的多媒体信息处理方法、装置、设备及存储介质，通过将多媒体信息中的每个模态信息输入与该模态信息对应的特征提取网络中，多个模态信息中存在至少一个目标模态信息，针对每个目标模态信息，可以通过该目标模态信息对应的特征提取网络中的预设计算层对该目标模态信息的特征信息和至少一个其他模态信息的特征信息进行融合处理。由于特征提取网络中的前一个计算层的输出可以是下一个计算层的输入，因此，融合处理后得到的融合结果或融合结果中的部分信息可以输入到该预设计算层的下一个计算层，直到每个模态信息分别对应的特征提取网络的最后一个计算层均输出特征信息。最后根据每个特征提取网络中最后一个计算层输出的特征信息，对所述多媒体信息进行风险评估。由于本公开实施例在每个模态信息的特征信息被提取的过程中，就可以对不同模态信息的特征信息进行融合即模态间的特征融合，因此，保证了每个模态信息中的部分信息在丢失之前就可以进行模态间的特征融合。从而避免了每个模态信息在特征提取过程中导致部分信息过早丢失的问题，因此在特征提取过程中，由于充分利用了多个模态信息之间的相关性，从而实现了更有效的信息融合，因此可以准确识别出多媒体信息中存在
的风险。
附图说明
[0032]此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
[0033]为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0034]图1为本公开实施例提供的多媒体信息处理方法流程图；
[0035]图2为本公开实施例提供的应用场景的示意图；
[0036]图3为本公开实施例提供的特征融合的示意图；
[0037]图4为本公开实施例提供的融合计算的示意图；
[0038]图5为本公开另一实施例提供的特征融合的示意图；
[0039]图6为本公开另一实施例提供的特征融合的示意图；
[0040]图7为本公开实施例提供的多媒体信息处理装置的结构示意图；
[0041]图8为本公开实施例提供的电子设备实施例的结构示意图。
具体实施方式
[0042]为了能够更清楚地理解本公开的上述目的、特征和优点，下面将对本公开的方案进行进一步描述。需要说明的是，在不冲突的情况下，本公开的实施例及实施例中的特征可以相互组合。
[0043]在下面的描述中阐述了很多具体细节以便于充分理解本公开，但本公开本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多媒体信息处理方法，其中，所述方法包括：获取多媒体信息中的多个模态信息，所述多个模态信息与多个特征提取网络一一对应；将所述多个模态信息中的每个模态信息输入与所述模态信息对应的特征提取网络中；针对所述多个模态信息中的至少一个目标模态信息，通过所述目标模态信息对应的特征提取网络中的预设计算层对所述目标模态信息的特征信息和至少一个其他模态信息的特征信息进行融合处理；根据每个特征提取网络中最后一个计算层输出的特征信息，对所述多媒体信息进行风险评估。2.根据权利要求1所述的方法，其中，通过所述目标模态信息对应的特征提取网络中的预设计算层对所述目标模态信息的特征信息和至少一个其他模态信息的特征信息进行融合处理，包括：通过所述目标模态信息对应的特征提取网络中的预设计算层对隐式特征和所述预设计算层的前一个计算层输出的特征信息进行融合处理，所述隐式特征包括至少一个其他模态信息的特征信息，所述前一个计算层输出的特征信息至少包括所述目标模态信息的特征信息。3.根据权利要求2所述的方法，其中，所述多个特征提取网络的结构相同，每个特征提取网络分别包括多个计算层；根据每个特征提取网络中最后一个计算层输出的特征信息，对所述多媒体信息进行风险评估之前，所述方法还包括：将所述融合处理得到的融合结果中的部分信息输入到所述预设计算层的下一个计算层。4.根据权利要求3所述的方法，其中，所述融合结果包括所述模态信息更新后的特征信息；将所述融合处理得到的融合结果中的部分信息输入到所述预设计算层的下一个计算层，包括：将所述模态信息更新后的特征信息输入到所述预设计算层的下一个计算层，所述模态信息更新后的特征信息包括所述隐式特征。5.根据权利要求4所述的方法，其中，所述融合结果还包括更新后的隐式特征，所述方法还包括：将所述更新后的隐式特征输入到下一个目标模态信息对应的特征提取网络中的预设计算层，所述更新后的隐式特征包括所述前一个计算层输出的特征信息。6.根据权利要求5所述的方法，其中，若所述目标模态信息是所述至少一个目标模态信息中的最后一个目标模态信息，则所述下一个目标模态信息是所述至少一个目标模态信息中的第一个目标模态信息，所述下一个目标模态信息对应的特征提取网络中的预设计算层的层级高于所述目标模态信息对应的特征提取网络中的预设计算层的层级。7.根据权利要求5所述的方法，其中，若所述目标模态信息不是所述至少一个目标模态信息中的最后一个目标模态信息，则所述下一个目标模态信息对应的特征提取网络中的预设计算层的层级与所述目标模态信息对应的特征提取网络中的预设计算层的层级相同。
8.一种信息融合方法，其中，所述方法包括：获取虚拟现实设备周...

【专利技术属性】
技术研发人员：张宇，吴翔，何源，
申请(专利权)人：阿里巴巴中国有限公司，
类型：发明
国别省市：