本申请公开一种任务预测方法及装置；本申请与人工智能的机器学习领域相关，可以获取预设任务的至少两个模态的样本数据、以及至少两个模态的样本数据的样本标签；通过多模态网络对样本数据进行特征提取，得到每个模态的样本数据对应的特征向量；通过多模态网络基于特征向量，确定预设任务的任务预测结果；获取预设任务的至少两个模态的相似度；基于相似度、任务预测结果以及样本标签，对多模态网络进行训练，以通过训练后的多模态网络进行任务预测；本申请可以提升多模态任务预测的准确率。本申请可以提升多模态任务预测的准确率。本申请可以提升多模态任务预测的准确率。
【技术实现步骤摘要】
一种任务预测方法及装置
[0001]本申请涉及人工智能领域，具体涉及一种任务预测方法及装置。
技术介绍
[0002]在人工智能领域，为了通过网络模型更全面地进行任务预测，可以通过任务的多个模态的数据进行网络模型训练，任务的不同模态的数据之间天然的存在异质性差异，可以通过多模态融合的方式减弱这种异质性差异，比如，可以通过聚合融合的方式，先通过网络模型的子网络分别对不同模态的数据进行学习，然后在网络模型的某一位置将学习到的不同模态的数据信息进行特征融合。
[0003]在对现有技术的研究和实践过程中，本申请的专利技术人发现，在网络模型的某一位置将数据信息进行特征融合会对网络模型的训练过程产生不利影响，进而导致，基于聚合融合方式的训练后网络模型在进行多模态任务预测时准确率较低。
技术实现思路
[0004]本申请实施例提供一种任务预测方法及装置，可以提升多模态任务预测的准确率。
[0005]本申请实施例提供一种任务预测方法，包括：
[0006]获取预设任务的至少两个模态的样本数据、以及所述至少两个模态的样本数据的样本标签；
[0007]通过多模态网络对所述样本数据进行特征提取，得到每个模态的样本数据对应的特征向量；
[0008]通过所述多模态网络基于所述特征向量，确定所述预设任务的任务预测结果；
[0009]获取所述预设任务的至少两个模态的相似度；
[0010]基于所述相似度、所述任务预测结果以及所述样本标签，对所述多模态网络进行训练，以通过训练后的多模态网络进行任务预测。
[0011]相应地，本申请提供一种任务预测装置，包括：
[0012]样本获取模块，用于获取预设任务的至少两个模态的样本数据、以及所述至少两个模态的样本数据的样本标签；
[0013]特征提取模块，用于通过多模态网络对所述样本数据进行特征提取，得到每个模态的样本数据对应的特征向量；
[0014]预测模块，用于通过所述多模态网络基于所述特征向量，确定所述预设任务的任务预测结果；
[0015]相似度模块，用于获取所述预设任务的至少两个模态的相似度；
[0016]训练模块，用于基于所述相似度、所述任务预测结果以及所述样本标签，对所述多模态网络进行训练，以通过训练后的多模态网络进行任务预测。
[0017]在一些实施例中，获取模块可以包括确定子模块，其中，
[0018]确定子模块，用于基于每个模态的样本数据对应的特征向量，确定所述预设任务的至少两个模态的相似度。
[0019]在一些实施例中，预设任务的至少两个模态包括第一模态和第二模态，确定子模块可以包括确定单元和计算单元，其中，
[0020]确定单元，用于确定目标样本数据对应的目标样本标签，所述目标样本数据包括第一模态目标样本和第二模态目标样本；
[0021]计算单元，用于计算第一特征向量和第二特征向量之间的相似度，以确定所述预设任务的第一模态和第二模态之间的相似度，所述第一特征向量为所述第一模态目标样本的特征向量，所述第二特征向量为所述第二模态目标样本的特征向量。
[0022]在一些实施例中，目标样本标签包括第一目标样本标签和第二目标样本标签，计算单元具体用于：
[0023]计算第一特征向量和第二特征向量之间的相似度，得到所述第一目标样本标签的第一标签相似度；
[0024]获取所述第二目标样本标签的第二标签相似度；
[0025]融合所述第一标签相似度和所述第二标签相似度，以确定所述预设任务的第一模态和第二模态之间的相似度。
[0026]在一些实施例中，预设任务的至少两个模态包括第一模态和第二模态，确定子模块具体用于：
[0027]确定用于计算相似度的目标映射函数；
[0028]根据所述目标映射函数、第一模态的样本数据对应的特征向量、以及第二模态的样本数据对应的特征向量，计算所述预设任务的第一模态和第二模态之间的相似度。
[0029]在一些实施例中，多模态网络包括与至少两个模态子网络，所述至少两个模态子网络与所述至少两个模态一一对应，特征提取模块具体用于：
[0030]通过至少两个模态子网络分别对至少两个模态的样本数据进行特征提取，得到每个模态的样本数据对应的特征向量；
[0031]预测模块包括预测子模块和融合子模块，其中，
[0032]预测子模块，用于根据每个模态的样本数据对应的特征向量、以及至少两个模态子网络，确定每个模态的样本数据对应的预测子结果；
[0033]融合子模块，用于融合每个模态的预测子结果，得到所述预设任务的任务预测结果。
[0034]在一些实施例中，融合子模块具体用于：
[0035]获取每个模态的预测结果权重信息；
[0036]基于每个模态的预测结果权重信息和预测子结果，计算所述预设任务的任务预测结果。
[0037]在一些实施例中，训练模块具体用于：
[0038]基于所述相似度、所述任务预测结果以及所述样本标签，计算所述多模态网络的损失值；
[0039]根据所述损失值，对所述多模态网络进行训练，得到训练后的多模态网络。
[0040]在一些实施例中，相似度模块具体用于：
[0041]基于每个模态的样本数据或预测子结果，确定所述预设任务的至少两个模态的相似度。
[0042]相应的，本申请实施例还提供了一种存储介质，存储介质存储有计算机程序，计算机程序适于处理器进行加载，以执行本申请实施例提供的任一种任务预测方法。
[0043]相应的，本申请实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，处理器执行计算机程序时实现本申请实施例提供的任一种任务预测方法。
[0044]本申请可以获取预设任务的至少两个模态的样本数据、以及至少两个模态的样本数据的样本标签，然后通过多模态网络对样本数据进行特征提取，得到每个模态的样本数据对应的特征向量，再通过多模态网络基于特征向量，确定预设任务的任务预测结果，获取预设任务的至少两个模态的相似度，最后基于相似度、任务预测结果以及样本标签，对多模态网络进行训练，以通过训练后的多模态网络进行任务预测。
[0045]本申请通过在模型训练过程中引入相似度，并基于该相似度进行网络模型训练的方式来实现多模态融合，而非现有技术中直接在网络模型的某一位置将不同模态的数据信息进行特征融合，使得在通过训练后的多模态网络进行任务预测时，可以显著任务预测准确率。
附图说明
[0046]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0047]图1是本申请实施例提供的任务预测系统的场景示意图；
[0048]图2是本申请实施例提供本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种任务预测方法，其特征在于，包括：获取预设任务的至少两个模态的样本数据、以及所述至少两个模态的样本数据的样本标签；通过多模态网络对所述样本数据进行特征提取，得到每个模态的样本数据对应的特征向量；通过所述多模态网络基于所述特征向量，确定所述预设任务的任务预测结果；获取所述预设任务的至少两个模态的相似度；基于所述相似度、所述任务预测结果以及所述样本标签，对所述多模态网络进行训练，以通过训练后的多模态网络进行任务预测。2.根据权利要求1所述的方法，其特征在于，所述获取所述预设任务的至少两个模态的相似度，包括：基于每个模态的样本数据对应的特征向量，确定所述预设任务的至少两个模态的相似度。3.根据权利要求2所述的方法，其特征在于，所述预设任务的至少两个模态包括第一模态和第二模态，所述基于每个模态的样本数据对应的特征向量，确定所述预设任务的至少两个模态的相似度，包括：确定目标样本数据对应的目标样本标签，所述目标样本数据包括第一模态目标样本和第二模态目标样本；计算第一特征向量和第二特征向量之间的相似度，以确定所述预设任务的第一模态和第二模态之间的相似度，所述第一特征向量为所述第一模态目标样本的特征向量，所述第二特征向量为所述第二模态目标样本的特征向量。4.根据权利要求3所述的方法，其特征在于，所述目标样本标签包括第一目标样本标签和第二目标样本标签，所述计算第一特征向量和第二特征向量之间的相似度，以确定所述预设任务的第一模态和第二模态之间的相似度，包括：计算第一特征向量和第二特征向量之间的相似度，得到所述第一目标样本标签的第一标签相似度；获取所述第二目标样本标签的第二标签相似度；融合所述第一标签相似度和所述第二标签相似度，以确定所述预设任务的第一模态和第二模态之间的相似度。5.根据权利要求2所述的方法，其特征在于，所述预设任务的至少两个模态包括第一模态和第二模态，所述基于每个模态的样本数据对应的特征向量，确定所述预设任务的至少两个模态的相似度，包括：确定用于计算相似度的目标映射函数；根据所述目标映射函数、第一模态的样本数据对应的特征向量、以及第二模态的样本数据对应的特征向量，计算所述...
【专利技术属性】
技术研发人员：黄文炳，王一凯，徐挺洋，荣钰，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。