一种模型确定方法和相关装置制造方法及图纸

技术编号:42336002 阅读:13 留言:0更新日期:2024-08-14 16:11
本申请公开了一种模型确定方法和相关装置,获取内容训练样本与N个模态一一对应的N个初始内容向量,并根据该N个初始内容向量,通过初始合并模型和单模态预测模型得到模态内还原损失函数以及跨模态还原损失函数。根据这两个还原损失函数训练得到的向量合并模型,针对每个模态,向量合并模型确定出的内容向量携带有更为丰富的信息,而且由于确定一个模态的内容向量时会考虑到其他模态的相关信息,故不同模态的内容向量间的相关性更好,由N个内容向量合并得到的合并内容向量不仅信息丰富,而且来自不同模态的信息具有关联性,使得在处理分类任务时能够直接使用向量合并模型来实现内容向量提取,大大提升了分类任务的训练效率。

【技术实现步骤摘要】

本申请涉及数据处理领域,特别是涉及一种模型确定方法和相关装置


技术介绍

1、随着人工智能在内容领域的应用,通过网络模型可以实现针对内容的各种分类任务,例如内容热度预测、内容标签标注、内容类型分类等。

2、在处理分类任务时均需要提取内容的内容向量作为后续任务理解的基础,由于针对不同的分类任务,网络模型对内容向量中所携带信息的侧重可能有所区别,故相关技术中,即使是针对相同内容范围内的不同分类任务,也需要重新进行内容向量提取的模型训练。

3、这种模型训练的训练耗时长,而且在需要处理多种分类任务时,重复训练会大大提升训练成本,从而导致分类任务的模型训练效率不高,难以适应快速更迭的内容分类需求。


技术实现思路

1、为了解决上述技术问题,本申请提供了一种模型确定方法,使得在处理分类任务时能够直接使用向量合并模型来实现内容向量提取,无需重复进行针对内容向量提取的模型训练,大大提升了分类任务的训练效率,能够有效满足快速更迭的内容分类需求。

2、本申请实施例公开了如下技术方案:

...

【技术保护点】

1.一种模型确定方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述根据所述N个初始内容向量,通过初始合并模型和单模态预测模型进行模态内还原预测,得到模态内还原损失函数,包括:

3.根据权利要求2所述的方法,其特征在于,所述N个初始内容向量为从所述内容训练样本的所对应模态下提取的特征向量,或者,所述N个初始内容向量为根据从所述内容训练样本的所对应模态下提取的特征向量,通过所述初始合并模型中对应相同模态的特征维度转换层得到的特征向量。

4.根据权利要求1所述的方法,其特征在于,所述根据所述N个初始内容向量,通过所述初始合并模型...

【技术特征摘要】

1.一种模型确定方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述根据所述n个初始内容向量,通过初始合并模型和单模态预测模型进行模态内还原预测,得到模态内还原损失函数,包括:

3.根据权利要求2所述的方法,其特征在于,所述n个初始内容向量为从所述内容训练样本的所对应模态下提取的特征向量,或者,所述n个初始内容向量为根据从所述内容训练样本的所对应模态下提取的特征向量,通过所述初始合并模型中对应相同模态的特征维度转换层得到的特征向量。

4.根据权利要求1所述的方法,其特征在于,所述根据所述n个初始内容向量,通过所述初始合并模型和所述单模态预测模型进行跨模态还原预测,得到跨模态还原损失函数,包括:

5.根据权利要求4所述的方法,其特征在于,所述从所述n个模态中确定用于合成的待合成模态,包括:

6.根据权利要求1所述的方法,其特征在于,所述通过所述模态内还原损失函数和所述跨模态还原损失函数,对所述初始合并模型进行训练,包括:

7.根据权利要求1所述的方法,其特征在于,所述初始合并模型中包括注意力层,所述注意力层用于将输入特征向量映射到注意力空间中,所述注意力空间的维度低于所述输入特征向量的特征空间的维度。

8.根据权利要求1-7任意一项所述的方法,其特征在于,所述方法...

【专利技术属性】
技术研发人员:郭卉
申请(专利权)人:腾讯科技深圳有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1