多模态大模型的训练方法、装置、存储介质和电子设备制造方法及图纸

本申请公开了多模态大模型的训练方法、装置、存储介质和电子设备，训练方法包括：利用预先训练的用于进行标签标注的标签专家LMM，对原始多模态训练数据预测标签；基于答案评级标签对原始多模态训练数据进行过滤，得到过滤数据集；基于过滤数据集中的所有数据样本的图像标签和指令标签，从过滤数据集中选择数据样本作为采样数据，使基于所有采样数据的图像标签和指令标签确定的标签熵最大化；将采样数据作为训练样本进行多模态大模型的训练。应用本申请，能够利用筛选后的训练数据进行多模态大模型训练，并有效保证多模态大模型的性能。

【技术实现步骤摘要】

本申请涉及神经网络技术，特别涉及多模态大模型的训练方法、存储介质和电子设备。

技术介绍

1、多模态大模型（lmm）的训练需要使用到多模态的指令问答数据，形式上为“图像-指令-答案”的三元组。为了使多模态大模型能够获得通用能力，多模态训练数据一般具有较大规模的数据量，需要满足多样性和高质量两个要求。

2、多模态训练数据的来源包括：互联网公开的多模态训练数据集、合成或改造的单一模态训练数据集、强能力lmm的生成数据、人工标定等，并以不同的数据集形式存在。虽然这些多模态训练数据集来源多样，但是如果不加筛选，直接混合这些数据集用于lmm的训练，就会存在以下问题：1. 图像多样性差：因为不同的数据集会高频使用某些特定场景的图像，如日常画面、特写镜头；2. 指令多样性差：不同的数据集存在指令的偏好，而这些数据集的数据量是存在差异的，直接混合数据集会导致大数据量的数据集出现的指令类型占据了总数据中更大的比例，导致多样性的失衡。所以，对各种来源收集到的多模态数据集进行进一步的处理筛选非常有必要，对未经过筛选的数据称之为原始多模态训练数据，用来区别筛选后实际用于本文档来自技高网...

【技术保护点】

1.一种多模态大模型的训练方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，该方法进一步包括：预先基于通用LMM，利用基于所述原始多模态数据确定的图像标签种子训练数据、指令标签种子训练数据和答案评级标签种子训练数据，训练生成所述标签专家LMM；

3.根据权利要求2所述的方法，其特征在于，所述标签评级为所述选择出的数据样本中答案所属的各个标签的标签分级，该方法进一步包括：基于所述各个标签的标签分级确定综合标签分级；或者，所述答案评级标签包括基于所述选择出的数据样本中答案所属的各个标签的标签分级确定的综合标签分级；

4.根据权利要求1、2...

【技术特征摘要】

1.一种多模态大模型的训练方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，该方法进一步包括：预先基于通用lmm，利用基于所述原始多模态数据确定的图像标签种子训练数据、指令标签种子训练数据和答案评级标签种子训练数据，训练生成所述标签专家lmm；

3.根据权利要求2所述的方法，其特征在于，所述标签评级为所述选择出的数据样本中答案所属的各个标签的标签分级，该方法进一步包括：基于所述各个标签的标签分级确定综合标签分级；或者，所述答案评级标签包括基于所述选择出的数据样本中答案所属的各个标签的标签分级确定的综合标签分级；

4.根据权利要求1、2或3所述的方法，其特征在于，所述从所述过滤数据集中选择数据样本作为采样数据，包括：

5.根据权利要求1、2或3所述的方法，其特征在于，所述从所述过滤数据集中选择数据样本作为采样数据，包括：

6.根据权利要求1、2或3所述的方法，其特征在于，所述从所述过滤数据集中选择数据样本作为采样数据，包括：

7.根据权利要求2所述的方法，其特征在于，该方法进一步包括：利用训练好的多模态模型，进一步训练所述标签专家lmm；和/或，

8.一种多模态模型的训练装置，其特征在于，该装置包括：标签预测单元、数据过滤单元、数据采样单元和多模态模型训练单元；

9.根据权利要求8所述的装置，其特征在于，该装置进一步包括标签专家训练单元，用于预...

【专利技术属性】
技术研发人员：郑仕达，王金，郭阶添，谭文明，任烨，
申请(专利权)人：杭州海康威视数字技术股份有限公司，
类型：发明
国别省市：