面向预训练大语言模型调优的立法规划意图识别方法技术

本发明专利技术公开了一种面向预训练大语言模型调优的立法规划意图识别方法，获得立法规划计划意见文本信息，得到立法规划计划意见知识本体；通过遍历立法规划计划意见知识本体生成设计自然语言形式的预训练大语言模型调优指令生成函数；调用大语言模型调优提示指令生成函数

【技术实现步骤摘要】
面向预训练大语言模型调优的立法规划意图识别方法


[0001]本专利技术属于人工智能和自然语言处理
，特别是涉及一种面向知识增强的预训练大语言模型信息抽取的立法规划
/
计划意图识别方法
。

技术介绍

[0002]为了更好地实现立法规划和计划的制定，需要对于海量的各类意见文本进行综合分类，通过信息抽取技术来智能识别各种意见文本
。
意见文本往往包括大数据类型的各种与观点相关的文本数据
。
面对如此众多种类的意见文本数据，如何进行有效的抽取和评估变得尤为重要
。
传统的方式常常需要耗费大量时间和人力进行手动梳理和整理
。
随着人工智能技术的逐步应用，信息抽取可以通过自然语言处理技术来对于各类意见的要素进行智能识别
。
以下对现有技术中与本专利技术相关联的信息抽取和意图识别进行详细描述：
[0003]信息抽取方法包括实体和关系的抽取方法
、
事件抽取方法和联合信息抽取方法
。
其中，
(1)
实体和关系的抽取方法具体分为：
①
基于规则模板的方法
(Rule
‑
Based Methods)
，通过手动制定各种规则和模板来识别实体和它们之间的关系，依赖于人工制定的规则和特征，难以扩展到更广泛的领域，并且无法有效处理规则冲突和复杂的语言结构，难以适应大规模的和复杂的语料数据集
。
②
基于特征工程的方法
(Feature
‑
Based Methods)
，通过手动设计和提取文本的各种特征来辅助实体关系抽取，在特征提取的基础上使用传统的机器学习算法如支持向量机
(SVM)
和随机森林
(Random Forest)
等进行分类
。
它的缺点是很难正确设计出能够覆盖所有的实体类型和语言结构的特征
。
另外，该方法需要耗费大量的时间和资源进行特征工程，而且解释性不高
。
③
基于神经网络的方法
(Neural Network
‑
Based Methods)
：使用基于卷积神经网络
(CNN)
和递归神经网络
(RNN)
的方法将标记序列转换为实体对之间的关系
。
另外，使用图卷积网络
(GCN)、
图神经网络
(GNN)
等方法集成文本和结构化方式提取实体与关系的表示
。
同时，还有联合抽取技术用于同时抽取实体和关系
。
④
预训练模型的抽取，可以视为一种知识增强型联合抽取方法
。
它使用包含预训练语言表示的大型深度学习模型，如
BERT(
排除的文本
)
和
XLNet(
可扩展的自上下文语义
)
来处理文本中的实体和关系
。
通过将情境信息编码为单词或字的向量，预训练语言表示模型可以更好地理解上下文信息，从而提高实体识别和关系抽取的性能
。
预训练模型的抽取方法常常使用远程监督自动构造大规模标注数据来训练模型
。
此外，还可以将外部的词汇和句法知识集成到预训练模型中，例如在实体和关系之间共同注意力机制中使用外部知识，来加强模型的表达和语义理解能力
。(2)
事件抽取方法分为两个主要部分，即触发词识别和事件元素识别
。
触发词识别指的是识别出文本中表示事件发生的单词或短语，而事件元素指的是与事件相关的实体
、
时间
、
地点等多种要素
。
一些方法可以通过自然语言处理和机器学习方法结合来实现事件抽取，如支持向量机
、
条件随机场
、
深度学习和注意力机制等
。
例如，
CNN
‑
BiLSTM
‑
CRF
模型结合了卷积神经网络作为初始特征学习模型
、
双向长短时记忆网络作为事件句子建模模型以及条件随机场作为分类模型，进一步提高了事件抽取的性能
。
此外，预训练模型，如
BERT
和
XLNet
，也被用于事件抽取任务中，取得了较好的效果
。
该方法
从无结构的文本中识别出触发词
、
实体和事件类型，并对其进行分类和组织，以便进一步地理解和分析文本中的事件
。
事件抽取可以应用于新闻报道
、
社交媒体
、
金融分析等领域，有助于对事件发展和关系进行更深入的挖掘和理解
。(3)
联合信息抽取
(Unified Information Extraction)
：目前较为前沿的技术是联合信息抽取技术，与传统的信息抽取方法相比，联合信息抽取能够更全面
、
准确地获取文本中的重要信息
。
在联合信息抽取中，实体抽取
、
关系抽取和事件抽取是基本的子任务
。
实体抽取是指从文本中找到命名实体，例如人名
、
地名
、
机构名等
。
关系抽取是指寻找实体之间的语义关系，例如工作
、
朋友
、
家庭关系等
。
事件抽取是指提取出一个事件，包括事件类型
、
触发词和参与者等
。
这些子任务不是独立的，它们之间是相互依存
、
关联的
。
联合信息抽取是一种综合利用多个子任务的信息抽取方法，它能够同时提取实体
、
关系和事件等多种语义信息，并在同一模型中进行联合优化
。
[0004]意图识别
(Intent Detection
，
ID)
是人机对话系统构成的关键
。
所谓意图就是用户的意愿，即用户想要做什么
。
意图有时也被称为“对话行为”(Dialog Act)
，即用户在对话中共享的信息状态或上下文变化并不断更新的行为
。
意图一般以“动词
+
名词”命名，如查询天气
、
预订酒店等
。
而意图识别又称为意图分类，即根据用户话语所涉及到的领域和意图将其分类到先前定义好的意图类别中
。

技术实现思路

[0005]本专利技术目的是提出一种面向预训练大语言模型调优的立法规划意图识别方法，基于知识增强的立法规划计划意见抽取和意图识别相结合，利用带提示指令和小样本范例属性的立法规划计划意见知识本体实现了立法意本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种面向预训练大语言模型调优的立法规划意图识别方法，其特征在于，包括：步骤
1、
获得立法规划计划意见文本信息，根据所述文本信息中的概念及其关系得到层次结构化的类和属性，形成立法规划计划意见知识本体
S
；步骤
2、
遍历步骤1得到的所述立法规划计划意见知识本体
S
，解析得到类的集合
C
和待处理的文本
T
，设置自然语言形式的
LLM
调优提示指令生成函数
(S,C,T)
，所述大语言模型调优提示指令生成函数
(S,C,T)
如下式所示：
LLM
调优指令生成函数
(S,C,T))
＝
[LLM
能力设定提示
]+[
类和属性遍历模板
(S,C)]+[
小样本举例
(C)]+[
引入输入文本提示
]+T+[LLM
输出启动提示
]
其中，
LLM
能力设定提示为大语言模型的要素抽取能力设定的提示指令，
LLM
输出启动提示为大语言模型的输出启动的提示指令；步骤
3、
将待处理的法律法规长文本分割成若干切割文档，所述切割文档输入大语言模型，利用大语言模型对每个切割文档进行分别摘要，抽取立法规划计划意见各类要素，批量生成与切割文档对应的摘要文档，按顺序进行所述摘要文档拼接，形成立法规划计划意见简写文本，将立法规划计划意见简写文本输入下一级大语言模型，同时调用执行步骤2的所述大语言模型调优提示指令生成函数
(S,C,T)
，输出对立法规划计划意见长文本的立法意图的调优识别和摘要生成
。2.
如权利要求1所述的一种面向预训练大语言模型调优的立法规划意图识别方法，其特征在于，所述步骤3支持多任务的预训练大语言模型调优指令生成函数，该函数基于引导词规则模板实现大语言模型针对不同任务的精调指令的批量生成
。3.
如权利要求1所述的一种面向预训练大语言模型调优的立法规划意图识别方法，其特征在于，包括查询遍历任意类属性
c
i
a
j
中的提示指令，针对特定实体
、
关系和事件的抽取任务批量生成面向多任务的大语言模型调优提示指令生成函数
(S,C,T)。4.
如权利要求1所述的一种面向预训练大语言模型调优的立法规划意图识别方法，其特征在于，进行形式化定义：
Classes(S)<...

【专利技术属性】
技术研发人员：梁鸿翔，王文俊，戴维迪，王博，陈雪，
申请(专利权)人：天津大学，
类型：发明
国别省市：