基于标签约束的多模态分类模型训练方法及装置制造方法及图纸

本发明专利技术公开了一种基于标签约束的多模态分类模型训练方法及装置，该方法包括：确定用于训练模型的目标模态的训练数据和对应的数据标签；将所述训练数据输入训练到收敛的数据分类模型，得到所述训练数据对应的训练数据特征；将所述数据标签输入至训练好的标签分类模型，得到所述数据标签对应的标签特征；将所述训练数据和所述数据标签输入至所述数据分类模型进行训练，在训练中根据目标损失函数值对所述数据分类模型的模型参数进行优化直至收敛，得到训练好的所述数据分类模型；所述目标损失函数值包括有所述训练数据特征和所述标签特征之间的特征差异度。可见，本发明专利技术能够使得模型的特征提取更具标签区分度，进而使得模型的预测效果更好。型的预测效果更好。型的预测效果更好。

【技术实现步骤摘要】
基于标签约束的多模态分类模型训练方法及装置


[0001]本专利技术涉及算法模型训练
，尤其涉及一种基于标签约束的多模态分类模型训练方法及装置。

技术介绍

[0002]随着算法技术的发展，越来越多的企业开始利用算法模型来执行数据分类相关的数据预测任务，例如针对特定模态的数据预测其关联的类别或标签，这一类任务需要算法模型能够充分提取数据的特征并进行特征的处理。但现有技术在进行这类模型的训练时，没有考虑到引入标签和提取出的特征之间的差异度，因此无法在训练中有效提高模型提取得到的特征的区分度和标签的关联度，训练效果较差。可见，现有技术存在缺陷，亟待解决。

技术实现思路

[0003]本专利技术所要解决的技术问题在于，提供一种基于标签约束的多模态分类模型训练确定方法及装置，能够一方面使得模型的特征提取更具标签区分度，另一方面可以使得模型的预测效果更好。
[0004]为了解决上述技术问题，本专利技术第一方面公开了一种基于标签约束的多模态分类模型训练方法，所述方法包括：
[0005]确定用于训练模型的目标模态的训练数据和对应的数据标签；
[0006]将所述训练数据输入训练到收敛的数据分类模型，得到所述训练数据对应的训练数据特征；所述数据分类模型用于提取所述目标模态的数据的特征；
[0007]将所述数据标签输入至训练好的标签分类模型，得到所述数据标签对应的标签特征；
[0008]将所述训练数据和所述数据标签输入至所述数据分类模型进行训练，在训练中根据目标损失函数值对所述数据分类模型的模型参数进行优化直至收敛，得到训练好的所述数据分类模型；所述目标损失函数值包括有所述训练数据特征和所述标签特征之间的特征差异度。
[0009]作为一种可选的实施方式，在本专利技术第一方面中，所述目标模态包括音频模态、图像模态和文本模态中的至少一种；和/或，所述数据分类模型包括音频分类模型、图像分类模型和文本分类模型中的至少一种。
[0010]作为一种可选的实施方式，在本专利技术第一方面中，所述将所述数据标签输入至训练好的标签分类模型，得到所述数据标签对应的标签特征，包括：
[0011]根据所述数据标签，生成包括有所述数据标签的标签文本；
[0012]将所述标签文本输入至训练好的标签分类模型，得到所述标签文本对应的标签特征；所述标签分类模型通过包括有多个训练标签文本和对应的训练数据标签的训练数据集训练得到。
[0013]作为一种可选的实施方式，在本专利技术第一方面中，所述目标损失函数值包括有所
述特征差异度以及所述数据分类模型输出的预测标签和所述数据标签之间的标签差异度。
[0014]作为一种可选的实施方式，在本专利技术第一方面中，所述目标损失函数值为所述特征差异度和所述标签差异度的加权求和值；所述特征差异度或所述标签差异度的权重用于缩小两者的数据值之间的大小差距。
[0015]作为一种可选的实施方式，在本专利技术第一方面中，所述标签差异度为交叉熵损失函数；和/或，所述特征差异度为KL散度。
[0016]作为一种可选的实施方式，在本专利技术第一方面中，所述标签分类模型为基于Transformer网络的分类模型。
[0017]作为一种可选的实施方式，在本专利技术第一方面中，所述音频分类模型包括Speech Transformer模型和Conformer模型中的至少一种，和/或，所述图像分类模型包括CNN模型、ViT模型和CoTNet模型中的至少一种，和/或，所述文本分类模型包括BERT模型、XLNet模型和RoBERTa模型中的至少一种。
[0018]本专利技术第二方面公开了一种基于标签约束的多模态分类模型训练装置，所述装置包括：
[0019]数据确定模块，用于确定用于训练模型的目标模态的训练数据和对应的数据标签；
[0020]特征提取模块，用于将所述训练数据输入训练到收敛的数据分类模型，得到所述训练数据对应的训练数据特征；所述数据分类模型用于提取所述目标模态的数据的特征；
[0021]标签处理模块，用于将所述数据标签输入至训练好的标签分类模型，得到所述数据标签对应的标签特征；
[0022]模型训练模块，用于将所述训练数据和所述数据标签输入至所述数据分类模型进行训练，在训练中根据目标损失函数值对所述数据分类模型的模型参数进行优化直至收敛，得到训练好的所述数据分类模型；所述目标损失函数值包括有所述训练数据特征和所述标签特征之间的特征差异度。
[0023]作为一种可选的实施方式，在本专利技术第二方面中，所述目标模态包括音频模态、图像模态和文本模态中的至少一种；和/或，所述数据分类模型包括音频分类模型、图像分类模型和文本分类模型中的至少一种。
[0024]作为一种可选的实施方式，在本专利技术第二方面中，所述标签处理模块包括：
[0025]文本生成单元，用于根据所述数据标签，生成包括有所述数据标签的标签文本；
[0026]特征提取单元，用于将所述标签文本输入至训练好的标签分类模型，得到所述标签文本对应的标签特征；所述标签分类模型通过包括有多个训练标签文本和对应的训练数据标签的训练数据集训练得到。
[0027]作为一种可选的实施方式，在本专利技术第二方面中，所述目标损失函数值包括有所述特征差异度以及所述数据分类模型输出的预测标签和所述数据标签之间的标签差异度。
[0028]作为一种可选的实施方式，在本专利技术第二方面中，所述目标损失函数值为所述特征差异度和所述标签差异度的加权求和值；所述特征差异度或所述标签差异度的权重用于缩小两者的数据值之间的大小差距。
[0029]作为一种可选的实施方式，在本专利技术第二方面中，所述标签差异度为交叉熵损失函数；和/或，所述特征差异度为KL散度。
[0030]作为一种可选的实施方式，在本专利技术第二方面中，所述标签分类模型为基于Transformer网络的分类模型。
[0031]作为一种可选的实施方式，在本专利技术第二方面中，所述音频分类模型包括Speech Transformer模型和Conformer模型中的至少一种，和/或，所述图像分类模型包括CNN模型、ViT模型和CoTNet模型中的至少一种，和/或，所述文本分类模型包括BERT模型、XLNet模型和RoBERTa模型中的至少一种。
[0032]本专利技术第三方面公开了另一种基于标签约束的多模态分类模型训练装置，所述装置包括：
[0033]存储有可执行程序代码的存储器；
[0034]与所述存储器耦合的处理器；
[0035]所述处理器调用所述存储器中存储的所述可执行程序代码，执行本专利技术实施例第一方面公开的基于标签约束的多模态分类模型训练方法中的部分或全部步骤。
[0036]本专利技术第四方面公开了一种计算机存储介质，所述计算机存储介质存储有计算机指令，所述计算机指令被调用时，用于执行本专利技术实施例第一方面公开的基于标签约束的多模态分类模型训练方法中的部分或全部步骤。
[0037]与现有技术相比，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于标签约束的多模态分类模型训练方法，其特征在于，所述方法包括：确定用于训练模型的目标模态的训练数据和对应的数据标签；将所述训练数据输入训练到收敛的数据分类模型，得到所述训练数据对应的训练数据特征；所述数据分类模型用于提取所述目标模态的数据的特征；将所述数据标签输入至训练好的标签分类模型，得到所述数据标签对应的标签特征；将所述训练数据和所述数据标签输入至所述数据分类模型进行训练，在训练中根据目标损失函数值对所述数据分类模型的模型参数进行优化直至收敛，得到训练好的所述数据分类模型；所述目标损失函数值包括有所述训练数据特征和所述标签特征之间的特征差异度。2.根据权利要求1所述的基于标签约束的多模态分类模型训练方法，其特征在于，所述目标模态包括音频模态、图像模态和文本模态中的至少一种；和/或，所述数据分类模型包括音频分类模型、图像分类模型和文本分类模型中的至少一种。3.根据权利要求1所述的基于标签约束的多模态分类模型训练方法，其特征在于，所述将所述数据标签输入至训练好的标签分类模型，得到所述数据标签对应的标签特征，包括：根据所述数据标签，生成包括有所述数据标签的标签文本；将所述标签文本输入至训练好的标签分类模型，得到所述标签文本对应的标签特征；所述标签分类模型通过包括有多个训练标签文本和对应的训练数据标签的训练数据集训练得到。4.根据权利要求1所述的基于标签约束的多模态分类模型训练方法，其特征在于，所述目标损失函数值包括有所述特征差异度以及所述数据分类模型输出的预测标签和所述数据标签之间的标签差异度。5.根据权利要求4所述的基于标签约束的多模态分类模型训练方法，其特征在于，所述目标损失函数值为所述特征差异度和所述标签差异度的加权求和值；所述特征差异度或所述标签差异度的权重用于缩小两者的数据值之间的大小差距。6.根据权利要...

【专利技术属性】
技术研发人员：黄于晏，陈畅新，
申请(专利权)人：有米科技股份有限公司，
类型：发明
国别省市：