媒体信息处理方法、装置、电子设备及存储介质制造方法及图纸

本公开提供了一种媒体信息处理方法、装置、电子设备及存储介质，属于网络技术领域。本公开实施例中，基于检索模型分别提取第一媒体信息的特征以及第二媒体信息的特征；第一媒体信息为视频模态或文本模态的信息，第二媒体信息与第一媒体信息的模态不同。基于第一媒体信息的特征及第二媒体信息的特征，确定第一媒体信息相对第二媒体信息的第一相似度信息。根据第一相似度信息，确定第二媒体信息与第一媒体信息匹配的第一概率信息。基于第一概率信息修正第一相似度信息，并基于修正后的第一相似度信息，执行目标处理。这样，可以提高后续目标处理的准确性，从而提高跨模态检索的准确性，确保跨模态检索的检索效果。保跨模态检索的检索效果。保跨模态检索的检索效果。

【技术实现步骤摘要】
媒体信息处理方法、装置、电子设备及存储介质


[0001]本公开属于网络
，特别是涉及一种媒体信息处理方法、装置、电子设备及存储介质。

技术介绍

[0002]目前，经常需要跨模态进行检索，以A模态的媒体信息检索B模态的媒体信息，或者，以B模态的媒体信息检索A模态的媒体信息。例如，在视频搜索场景中，有时候需要以文本模态的文本信息检索相匹配的视频。或者，基于视频从文本库中检索与该视频相匹配的文本信息，以便于给视频增加文本描述。
[0003]相关技术中，为了实现跨模态的媒体信息检索，往往是计算不同模态媒体信息之间的相似度信息，然后直接基于该相似度信息进行后续处理。由于不同模态媒体信息的异构性，这种方式中，有时会导致后续处理的准确性较低，从而导致检索效果较差。

技术实现思路

[0004]为克服相关技术中存在的问题，本公开提供一种媒体信息处理方法、装置、电子设备及存储介质。
[0005]依据本公开的第一方面，提供了一种媒体信息处理方法，该方法包括：
[0006]基于检索模型分别提取第一媒体信息媒介信息的特征以及本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种媒体信息处理方法，其特征在于，所述方法包括：基于检索模型分别提取第一媒体信息的特征以及第二媒体信息的特征；所述第一媒体信息为视频模态或文本模态的信息，所述第二媒体信息与所述第一媒体信息的模态不同；基于所述第一媒体信息的特征及所述第二媒体信息的特征，确定第一媒体信息相对第二媒体信息的第一相似度信息；根据所述第一相似度信息，确定所述第二媒体信息与所述第一媒体信息匹配的第一概率信息；基于所述第一概率信息修正所述第一相似度信息，并基于修正后的所述第一相似度信息，执行目标处理；所述目标处理包括生成所述检索模型的输出和/或确定所述检索模型的损失值。2.根据权利要求1所述的方法，其特征在于，所述第一相似度信息为第一相似度矩阵，所述第一概率信息为第一概率矩阵；第一相似度矩阵中的一行相似度用于表征与所述行对应的第一媒体信息相对其他各个第二媒体信息的相似度，第一相似度矩阵中的一列相似度用于表征与所述列对应的一个第二媒体信息相对其他各个第一媒体信息的相似度；所述根据所述第一相似度信息，确定所述第二媒体信息与所述第一媒体信息匹配的第一概率信息，包括：对于所述第一相似度矩阵中的任一相似度，根据所述相似度所属列中的相似度，计算所述相似度对应的概率；所述概率用于表示所述相似度所属列对应的第二媒体信息与所述相似度所属行对应的第一媒体信息相匹配的概率；根据所述概率，生成所述第一概率矩阵。3.根据权利要求2所述的方法，其特征在于，所述根据所述相似度所属列中的相似度，计算所述相似度对应的概率，包括：根据所述相似度所属列中的相似度，对所述相似度进行归一化，以生成所述相似度对应的概率。4.根据权利要求1所述的方法，其特征在于，所述基于所述第一概率信息修正所述第一相似度信息，包括：基于所述第一相似度信息以及所述第一概率信息进行点乘，以进行修正。5.根据权利要求1所述的方法，其特征在于，在所述检索模型已完成训练的情况下，所述基于修正后的所述第...

【专利技术属性】
技术研发人员：程星，吴翔宇，
申请(专利权)人：北京达佳互联信息技术有限公司，
类型：发明
国别省市：