一种模型训练方法、系统、设备及介质技术方案

本申请公开了一种模型训练方法、系统、设备及介质，通过获取负向指令，以及获取到的负向指令对应的正向回复；将所述负向指令输入目标大模型，得到目标大模型产生的负向回复，存在对应关系的正向回复和负向回复结合得到正负样本对，并储存至目标数据集，基于训练完成的判别模型对所述目标数据集中负向指令的正向回复进行评分，确定评分低于第一预设阈值的负向指令；对筛选得到的负向指令进行拓展，基于拓展结果对目标大模型进行调整，并执行所述获取负向指令及后续步骤。运用了对比的思想来优化损失函数，引入了判别模型来辅助模型的迭代过程，减少了人工标注和评估的工作量，降低了人力成本。

【技术实现步骤摘要】

本申请涉及计算机，特别是涉及一种模型训练方法、系统、设备及介质。

技术介绍

1、随着人工智能技术的快速发展，自然语言处理(nlp)领域的大模型技术得到了广泛应用。在保险行业中，大模型技术对于提升客户服务质量、实现智能化风险评估等方面具有重要意义。然而，大模型在处理用户输入时，尤其是涉及敏感或不合规指令时，其安全性成为了亟待解决的问题。大模型的安全问题主要体现在模型对不合规指令的响应上。不合规指令可能涉及欺诈、误导、歧视或其他违反规定的行为。为了增强模型的安全意识，现阶段的方案主要依赖于构造不合规指令和安全合规的回复的有监督数据，并通过指令微调的形式来指导模型提升安全能力。

2、尽管大模型在训练时可以学习到大量的知识和信息，但对于一些复杂的指令或情境，模型仍然难以理解其背后的逻辑和意图。特别是在面对不合规指令时，模型只学习到了安全正向的回复，而无法完全理解不合规的回复背后的错误逻辑，导致在某些情况下仍然可能产生不符合人类价值的不合规的回复。

技术实现思路

1、基于上述问题，本申请提供了一种模型训练方本文档来自技高网...

【技术保护点】

1.一种模型训练方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述判别模型的训练方式包括：

3.根据权利要求1所述的方法，其特征在于，所述目标大模型的构建方式包括：

4.根据权利要求3所述的方法，其特征在于，所述对筛选得到的负向指令进行拓展，包括：

5.根据权利要求3所述的方法，其特征在于，所述对筛选得到的负向指令进行拓展，包括：

6.根据权利要求4所述的方法，其特征在于，所述基于目标大模型和提示信息，生成负向指令的正向回复集合，包括：

7.根据权利要求4所述的方法，其特征在于，所述基于目标大模...

【技术特征摘要】

1.一种模型训练方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述判别模型的训练方式包括：

3.根据权利要求1所述的方法，其特征在于，所述目标大模型的构建方式包括：

4.根据权利要求3所述的方法，其特征在于，所述对筛选得到的负向指令进行拓展，包括：

5.根据权利要求3所述的方法，其特征在于，所述对筛选得到的负向指令进行拓展，包括：

6.根据权利要求4所述的方法，其特征在于，所述基于目标大模型和提示信息，生成负向指令的正向回复集合，包括：

7.根据...

【专利技术属性】
技术研发人员：王思博，
申请(专利权)人：太保科技有限公司，
类型：发明
国别省市：