基于预训练模型和图神经网络的法律知识问答方法及设备技术

本发明专利技术提出一种基于预训练模型和图神经网络的法律知识问答方法及设备，该方法通过超大规模预训练模型能够有效地从大量标记和未标记的数据中捕获知识，极大地扩展了模型的泛化能力，但是其可解释性较差，缺乏知识层面的推理能力；图神经网络可以通过图谱中前续节点到下一跳节点信息传递的方式来实现关系推理，且具有较强的语义可视化能力；将三者结合起来建立起“感知与认知相结合”共生的范式，实现具备认知推理能力的高精度架构，在面向法律的场景中提供快速且准确的问答。景中提供快速且准确的问答。景中提供快速且准确的问答。

【技术实现步骤摘要】
基于预训练模型和图神经网络的法律知识问答方法及设备


[0001]本专利技术涉及神经
，尤其涉及一种基于预训练模型和图神经网络的法律知识问答方法、装置、设备、存储介质。

技术介绍

[0002]面向法律知识的智能问答是实现智能法治的重要核心部分，其问答结果需要考虑准确性和可解释性两个方面的评价，同时还需要保障生成结果的速度，已有的方法均不能很好地保证以上指标，或者需要大量的人工标注。
[0003]法律文本通常具有逻辑性强、专业程度高、严谨性要求强、文本长度长、需要多跳阅读才能够找到最终答案等特征，与一般性的开放域知识问答具有一定的异同点。面向法律知识的问答系统在线纠纷调解、在线法律援助、智能法律服务问答和法律文本生成等方面都有重要的作用。本专利提出了一种基于预训练模型和图神经网络的法律知识问答系统，旨在结合法治建设中法律知识日益复杂、法律纠纷日益多元、法律服务日益分化的现状，挖掘司法部门公开的法律文书信息、立法和法律研究者生产的法律知识信息，形成面向面向广大互联网用户需求的法律知识问题系统。
[0004]一般的传统方法主要通过本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于预训练模型和图神经网络的法律知识问答方法，其特征在于，包括：基于法律知识库，生成以法律实体索引为“法律实体(实体)
‑
知识内容(文本)”的知识对；构建采用多级滑动窗口注意力机制的预训练模型，将所述预训练模型结合图神经网络模型，构建认知图谱架构；将法律知识问题输入所述认知图谱架构的预训练模型中，对图进行扩展填充，生成认知架构图谱；对所述认知图谱中的节点进行筛选，输出结果作为与输入的法律知识问题对应的答案。2.根据权利要求1所述的基于预训练模型和图神经网络的法律知识问答方法，其特征在于，在基于法律知识库，生成以法律实体索引为“法律实体(实体)
‑
知识内容(文本)”的知识对的步骤中，包括：对法律知识库中的法律条文和裁判文书中的文本数据，采用CRF+双向LSTM的命名实体识别方式进行命名实体的识别；对法律知识库中的法律条文和裁判文书中的文本数据进行实体抽取，抽取得到的每一个法律实体和其对应的相关文本内容，组成“法律实体(实体)
‑
知识内容(文本)”的知识对。3.根据权利要求2所述的基于预训练模型和图神经网络的法律知识问答方法，其特征在于，在采用CRF+双向LSTM的命名实体识别方式进行命名实体的识别的步骤中，通过对输入的文本数据进行词和字维度的嵌入，以词表达和字表达作为输入，最终实现文本数据中实体的抽取。4.根据权利要求1所述的基于预训练模型和图神经网络的法律知识问答方法，其特征在于，所述预训练模型采用三级滑动窗口注意力机制的广义线性模型GLM
‑
130B；其中，一级滑动窗口的注意力用来关注整体文本序列，其长度为整个输入文本长度；二级滑动窗口的长度小于一级滑动窗口长度，为句子级长度；三级滑动窗口的长度小于一级滑动窗口长度，为短语级长度。5.根据权利要求1所述的基于预训练模型和图神经网络的法律知识问答方法，其特征在于，所述认知图谱架构包括所述预训练模型、图神经网络模型和认知图谱；...

【专利技术属性】
技术研发人员：邵洲，刘佳，
申请(专利权)人：北京智谱华章科技有限公司，
类型：发明
国别省市：