多模态大模型微调方法技术

本发明专利技术实施例公开了多模态大模型微调方法

【技术实现步骤摘要】
多模态大模型微调方法、装置、计算机设备及存储介质


[0001]本专利技术涉及模型调整方法，更具体地说是指多模态大模型微调方法
、
装置
、
计算机设备及存储介质
。

技术介绍

[0002]近年来，多模态生成式大模型在机器学习领域引起了广泛的关注和研究，并取得了显著的突破，已广泛应用于各行各业
。
当前真正落地的多模态生成式大模型多为通用大模型，通过使用大量公开数据集训练使其具备较为严密的逻辑推理能力，但缺乏垂直领域知识，直接应用于垂直领域时，其性能无法满足业务需求，需要使用垂直领域的数据进行微调，提升大模型对于垂直领域应用的性能
。
然而，由于垂直领域的有效数据较少，使用少量数据对多模态生成式大模型进行微调会破坏生成式大模型原有的逻辑推理能力，产生严重的模型幻想问题
。
模型幻想是指模型对数据进行推理归纳时，会输出数据中不存在的信息，这种现象严重阻碍了生成式大模型在现实场景中的应用
。
[0003]现有的解决方案有两种，一种是将产生了幻想的数据样本加入到模型进行训练更新，让模型修正自己的输出，然而，这种方法需要人工不断收集数据，耗费大量人力物力，效率较低；第二种是在模型输入层面，对指令输入进行限定，明确要求生成式大模型不要生成和数据无关的内容，然而，指令限定通常对通用领域生成式大模型有效，由于垂直领域大模型需要对模型参数微调，参数微调会极大降低指令的效果，无法减缓模型幻想的问题
。
[0004]因此，有必要设计一种新的方法，实现对多模态大模型进行微调，减轻模型幻觉，且降低微调时带来的模型幻觉，成本低，效率高
。

技术实现思路

[0005]本专利技术的目的在于克服现有技术的缺陷，提供多模态大模型微调方法
、
装置
、
计算机设备及存储介质
。
[0006]为实现上述目的，本专利技术采用以下技术方案：多模态大模型微调方法，包括：获取设备缺陷
、
环境隐患
、
人员违规监测相关的训练数据；对所述训练数据进行处理和分析，以得到处理结果；对分布不均衡且数量不符合要求的训练数据进行数据扩充，并与所述处理结果进行组合，以得到扩充结果；采用扩充结果对多模态大模型进行训练和微调，以得到检测模型；利用所述检测模型进行测试和推理
。
[0007]其进一步技术方案为：所述对所述训练数据进行处理和分析，以得到处理结果，包括：对所述训练数据根据具体任务所制定的标注规范进行标注，以得到标注结果；对标注结果按照不同维度进行统计分析，以得到处理结果
。
[0008]其进一步技术方案为：所述对分布不均衡且数量不符合要求的训练数据进行数据
扩充，并与所述处理结果进行组合，以得到扩充结果，包括：对分布不均衡且数量不符合要求的训练数据使用生成式数据扩充方法进行数据扩充，以得到扩充数据生成结果；将所述扩充数据生成结果与所述处理结果结合形成扩充结果
。
[0009]其进一步技术方案为：所述对分布不均衡且数量不符合要求的训练数据使用生成式数据扩充方法进行数据扩充，以得到扩充数据生成结果，包括：对分布不均衡且数量不符合要求的训练数据使用文本描述场景，以得到描述结果；将所述描述结果放入文字生成数据的模型中生成对应的场景数据，以得到扩充数据生成结果
。
[0010]其进一步技术方案为：所述对分布不均衡且数量不符合要求的训练数据使用生成式数据扩充方法进行数据扩充，以得到扩充数据生成结果，包括：对分布不均衡且数量不符合要求的训练数据采用数据修正的生成式数据扩充方法进行数据扩充，以得到扩充数据生成结果
。
[0011]其进一步技术方案为：所述采用扩充结果对多模态大模型进行训练和微调，以得到检测模型，包括：构建多模态大模型以及教师模型；采用扩充结果结合所述教师模型对所述多模态大模型进行训练和微调，以得到检测模型；其中，在微调时，对所述多模态大模型的损失函数增加近邻损失
。
[0012]其进一步技术方案为：所述采用扩充结果结合所述教师模型对所述多模态大模型进行训练和微调，以得到检测模型，包括：将所述扩充结果输入至所述教师模型和所述多模态大模型，以得到所述教师模型的输出和所述多模态大模型的输出；在所述多模态大模型原有损失函数的基础上增加教师模型的输出与所述多模态大模型输出之间的损失函数，并将所有的损失函数合并，以得到总损失函数；使用总损失函数对所述多模态大模型进行微调训练，得到检测模型
。
[0013]本专利技术还提供了多模态大模型微调装置，包括：训练数据获取单元，用于获取设备缺陷检测
、
环境隐患监测
、
人员违规监测相关的训练数据；处理单元，用于对所述训练数据进行处理和分析，以得到处理结果；扩充单元，用于对分布不均衡且数量不符合要求的训练数据进行数据扩充，并与所述处理结果进行组合，以得到扩充结果；微调训练单元，用于采用扩充结果对多模态大模型进行训练和微调，以得到检测模型；测试单元，用于利用所述检测模型进行测试和推理
。
[0014]本专利技术还提供了一种计算机设备，所述计算机设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现上述的方法
。
[0015]本专利技术还提供了一种存储介质，所述存储介质存储有计算机程序，所述计算机程
序被处理器执行时实现上述的方法
。
[0016]本专利技术与现有技术相比的有益效果是：本专利技术通过对于分布不均衡且数量不符合要求的训练数据进行数据扩充，使用生成式数据扩充方法，对容易产生模型幻觉的场景进行数据扩充，在模型微调层面，引入近邻学习，实现对多模态大模型进行微调，减轻模型幻觉，且降低微调时带来的模型幻觉，不需要不断收集数据，成本低，效率高
。
[0017]下面结合附图和具体实施例对本专利技术作进一步描述
。
附图说明
[0018]为了更清楚地说明本专利技术实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图
。
[0019]图1为本专利技术实施例提供的多模态大模型微调方法的应用场景示意图；图2为本专利技术实施例提供的多模态大模型微调方法的流程示意图；图3为本专利技术实施例提供的多模态大模型微调方法的子流程示意图；图4为本专利技术实施例提供的多模态大模型微调方法的子流程示意图；图5为本专利技术实施例提供的多模态大模型微调方法的子流程示意图；图6为本专利技术实施例提供的多模态大模型微调方法的子流程示意图；图7为本专利技术实施例提供的多模态大模型微调方法的子流程示意图；图8为本专利技术实施例提供的多模态大模型微调装置的示意性框图；图9为本专利技术实施例提供的多模态大模型微调装置的处理单元的示意本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
多模态大模型微调方法，其特征在于，包括：获取设备缺陷
、
环境隐患
、
人员违规监测相关的训练数据；对所述训练数据进行处理和分析，以得到处理结果；对分布不均衡且数量不符合要求的训练数据进行数据扩充，并与所述处理结果进行组合，以得到扩充结果；采用扩充结果对多模态大模型进行训练和微调，以得到检测模型；利用所述检测模型进行测试和推理
。2.
根据权利要求1所述的多模态大模型微调方法，其特征在于，所述对所述训练数据进行处理和分析，以得到处理结果，包括：对所述训练数据根据具体任务所制定的标注规范进行标注，以得到标注结果；对标注结果按照不同维度进行统计分析，以得到处理结果
。3.
根据权利要求1所述的多模态大模型微调方法，其特征在于，所述对分布不均衡且数量不符合要求的训练数据进行数据扩充，并与所述处理结果进行组合，以得到扩充结果，包括：对分布不均衡且数量不符合要求的训练数据使用生成式数据扩充方法进行数据扩充，以得到扩充数据生成结果；将所述扩充数据生成结果与所述处理结果结合形成扩充结果
。4.
根据权利要求3所述的多模态大模型微调方法，其特征在于，所述对分布不均衡且数量不符合要求的训练数据使用生成式数据扩充方法进行数据扩充，以得到扩充数据生成结果，包括：对分布不均衡且数量不符合要求的训练数据使用文本描述场景，以得到描述结果；将所述描述结果放入文字生成数据的模型中生成对应的场景数据，以得到扩充数据生成结果
。5.
根据权利要求3所述的多模态大模型微调方法，其特征在于，所述对分布不均衡且数量不符合要求的训练数据使用生成式数据扩充方法进行数据扩充，以得到扩充数据生成结果，包括：对分布不均衡且数量不符合要求的训练数据采用数据修正的生成式数据扩充方法进行数据扩充，以得到扩充数据生成结果
。6....

【专利技术属性】
技术研发人员：豆泽阳，甘家旭，庞磊，蒋阳，
申请(专利权)人：珠高智能科技深圳有限公司，
类型：发明
国别省市：