融合领域知识蒸馏的智能制造领域大语言模型构建方法技术

本申请提供了一种融合领域知识蒸馏的智能制造领域大语言模型构建方法，涉及智能制造领域，其收集智能制造领域知识并进行知识清晰和结构化编码以得到智能制造领域知识图谱，同步选择预训练大语言模型作为教师模型，并结合智能制造领域知识图谱得到智能制造领域教师模型。接着收集智能制造领域任务数据，并结合智能制造领域教师模型对学生模型进行知识蒸馏训练以得到智能制造领域学生模型，以有效融入结构化领域知识，并关注领域知识的结构化特性与语义关联性，从而兼顾软标签的语义相似性与硬标签的监督信号，平衡泛化性与领域特异性。

【技术实现步骤摘要】

本申请涉及智能制造领域，且更为在本申请的实施例中，涉及一种融合领域知识蒸馏的智能制造领域大语言模型构建方法。

技术介绍

1、近年来，基于海量通用语料预训练的大语言模型(如bert、gpt系列)在自然语言处理任务中展现了强大的泛化能力。然而，其在垂直领域(如智能制造)的应用仍面临显著挑战。例如，在智能制造领域中，由于智能制造领域具有高度专业化、知识密集化和逻辑复杂化的特点，涉及设备参数、工艺流程、质量控制标准、行业规范等结构化与半结构化知识，且存在大量隐性专家经验。通用大语言模型通常缺乏对这些领域知识的显式建模能力，导致其在专业术语理解、知识关联推理和复杂任务决策中表现不足。

2、因此，期望一种优化的智能制造领域大语言模型构建方案。

技术实现思路

1、为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种融合领域知识蒸馏的智能制造领域大语言模型构建方法，其收集智能制造领域知识并进行知识清晰和结构化编码以得到智能制造领域知识图谱，同步选择预训练大语言模型作为教师模型，并结合智能制造领域知识图谱得本文档来自技高网...

【技术保护点】

1.一种融合领域知识蒸馏的智能制造领域大语言模型构建方法，其特征在于，包括：

2.根据权利要求1所述的融合领域知识蒸馏的智能制造领域大语言模型构建方法，其特征在于，收集智能制造领域知识，包括：从多个数据来源收集所述智能制造领域知识，所述多个数据来源包括领域文档、专家知识、知识库或本体库或结构化数据库。

3.根据权利要求1所述的融合领域知识蒸馏的智能制造领域大语言模型构建方法，其特征在于，利用所述智能制造领域教师模型和所述智能制造领域任务数据，对学生模型进行知识蒸馏训练以得到智能制造领域学生模型，包括：

4.根据权利要求3所述的融合领域知识蒸馏的智能制造...

【技术特征摘要】

1.一种融合领域知识蒸馏的智能制造领域大语言模型构建方法，其特征在于，包括：

2.根据权利要求1所述的融合领域知识蒸馏的智能制造领域大语言模型构建方法，其特征在于，收集智能制造领域知识，包括：从多个数据来源收集所述智能制造领域知识，所述多个数据来源包括领域文档、专家知识、知识库或本体库或结构化数据库。

3.根据权利要求1所述的融合领域知识蒸馏的智能制造领域大语言模型构建方法，其特征在于，利用所述智能制造领域教师模型和所述智能制造领域任务数据，对学生模型进行知识蒸馏训练以得到智能制造领域学生模型，包括：

4.根据权利要求3所述的融合领域知识蒸馏的智能制造领域大语言模型构建方法，其特征在于，计算所述预测结果与真实标签之间的硬标签损失函数值，包括：计算所述预测结果与真实标签之间的交叉熵损失函数值作为所述硬标签损失函数值。

5.根据权利要求3所述的融合领域知识蒸馏的智能制造领域大语言模型构建方法，其特征在于，计算所述预测结果与所述软标签之间的蒸馏损失函数值，包括：

6.根据权利要求5所述的融合领域知识蒸馏的智能制造领域大语言模型构建方法，其特征在于，对所述蒸馏语义...

【专利技术属性】
技术研发人员：李德坤，朱慧敏，
申请(专利权)人：上电智联科技江苏有限公司，
类型：发明
国别省市：