一种桥梁领域智能问答方法、桥梁领域生成式大模型训练方法及训练装置制造方法及图纸

技术编号:41796728 阅读:48 留言:0更新日期:2024-06-24 20:20
本发明专利技术公开了一种桥梁领域智能问答方法、桥梁领域生成式大模型训练方法及训练装置,包括基于桥梁领域数据和通用文本数据,对预制的生成大模型进行预训练得到第一微调大模型;基于针对桥梁各阶段场景预先人工构建指令数据集,对第一微调大模型进行低秩矩阵增量权重训练,得到桥梁各阶段场景对应的第二微调大模型;基于预先人工构建的评分排序数据集,对第二微调大模型进行精调得到奖励模型;将第二微调大模型作为智能体,以奖励模型作为环境,对第二微调大模型进行强化学习训练得到桥梁领域生成大模型。本发明专利技术能够提升针对桥梁领域问答场景基于传统的知识图谱和意图识别等方法出现的回答文本泛化性差、准确性低和流畅性不足等问题,且实施成本低。

【技术实现步骤摘要】

本专利技术涉及深度学习及自然语言处理。更具体地说,本专利技术涉及一种桥梁领域智能问答方法、桥梁领域生成式大模型训练方法及训练装置


技术介绍

1、在桥梁领域,存在大量与勘探、设计、建设、运营、养护等不同阶段相关的各式数据,如视频、图片、音频、文本、表格等。相关技术中有通过构建知识图谱技术且基于上述数据基础上实现桥梁领域问答的方案,这类方案通过命名实体识别、关系抽取等来构建对应三元组,再基于三元组构建对应的知识图谱,然后利用实体对齐、语义理解、意图识别等方式来完成桥梁领域问答场景的实现。但这类方法存在构建成本高、构建方法复杂,且基于知识图谱和意图识别的方法泛化性差,生成的答案多样性不足等问题。

2、因此,亟需一种适用于桥梁领域的生成式模型训练方法,同时能实现桥梁领域问答方法。


技术实现思路

1、本专利技术的目的是提供一种桥梁领域智能问答方法、桥梁领域生成式大模型训练方法及训练装置,能够提升针对桥梁领域问答场景基于传统的知识图谱和意图识别等方法出现的回答文本泛化性差、准确性低和流畅性不足等问题,且相比本文档来自技高网...

【技术保护点】

1.一种桥梁领域生成式大模型训练方法,其特征在于,包括以下步骤:

2.如权利要求1所述的桥梁领域智能问答方法、桥梁领域生成式大模型训练方法,其特征在于,所述非结构化桥梁同用文本数据包括:桥梁设计规范、技术手册、施工方案、工程案。

3.如权利要求1所述的桥梁领域智能问答方法、桥梁领域生成式大模型训练方法,其特征在于,所述步骤S2具体包括:人工对桥梁各阶段场景特性构建对应的指令数据集,分别对所述指令数据集中各指令数据的指令文本和输入文本进行拼接,得到第一拼接文本;

4.如权利要求1所述的桥梁领域智能问答方法、桥梁领域生成式大模型训练方法,其特征在于,所述S...

【技术特征摘要】

1.一种桥梁领域生成式大模型训练方法,其特征在于,包括以下步骤:

2.如权利要求1所述的桥梁领域智能问答方法、桥梁领域生成式大模型训练方法,其特征在于,所述非结构化桥梁同用文本数据包括:桥梁设计规范、技术手册、施工方案、工程案。

3.如权利要求1所述的桥梁领域智能问答方法、桥梁领域生成式大模型训练方法,其特征在于,所述步骤s2具体包括:人工对桥梁各阶段场景特性构建对应的指令数据集,分别对所述指令数据集中各指令数据的指令文本和输入文本进行拼接,得到第一拼接文本;

4.如权利要求1所述的桥梁领域智能问答方法、桥梁领域生成式大模型训练方法,其特征在于,所述s3中评分排序数据集具体构建过程包括:首先获取若干桥梁场景问题,获取每个问题的两个回答,然后人工的对每个问题的两个回答进行得分质量排序,;通过这样的方式得到若干问答和每个问题对应的两个回答组成的评分排序数据集。

5.如权利要求1所述的桥梁领域智能问答方法、桥梁领域生成式大模型训练方...

【专利技术属性】
技术研发人员:徐双双田唯李浩朱浩王永威肖垚杨荣正李焜耀陈圆杨华东薛现凯刘志昂焦岚馨
申请(专利权)人:中交第二航务工程局有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1