一种半监督司法实体及事件联合提取方法技术

一种半监督司法实体及事件联合提取方法，其步骤如下：司法文本分词处理，司法文本数据多特征嵌入，构建司法实体及事件联合提取模型，提取实体、事件和事件属性。本发明专利技术基于双向LSTM网络构建司法实体及事件联合提取模型，融合多种特征，有效提高提取准确度；同时模型训练基于数据增广和批量数据混合的半监督模型，极大提升提取模型的可用性。

A semi supervised judicial entity and event joint extraction method

【技术实现步骤摘要】
一种半监督司法实体及事件联合提取方法
本专利技术属于自然语言处理领域，涉及一种半监督司法实体及事件联合提取方法。
技术介绍
在智能裁判和智能法律咨询机器人系统中，信息提取技术是最为基础和核心的部分。它能将非结构化的裁判文书，问答库等资料转换成结构化的表、关键词、事件链等数据，以便于后续决策算法部署，从而提供更精准的裁判、更切合用户意图的回答。例如下面的案例：{2015年2月11日X时，在平度路金杨路南约10米处，被告薛XX驾驶的牌号为沪L5XXXX小客车与驾驶电动自行车的原告杨XX发生碰撞，造成杨XX受伤、两车受损的道路交通事故。经上海市公安局浦东分局交通警察支队认定，薛XX未确保安全，承担事故主要责任，杨XX未在非机动车道内行驶，承担次要责任。}通过手动标注抽取为{原告：杨XX；被告：薛XX；责任认定单位：浦东分局交警支队；事件：交通事故；事件车辆：小客车，电动自行车；事件后果：原告受伤，两车受损；事件责任：被告主要责任，原告次要责任}，这种结构化数据比上面的非结构化数据更有条理性，也更易进行结果推理。示例中的抽取包含了实体名识别，事件识别及事件属性(attributes)识别，这三种技术结合在广义上也被称为事件提取。目前事件提取的工作主要集中在事件触发词及其相关属性的预测上，而将实体名识别等工作交由手动标注或者现有NER(实体名识别)工具包完成。这种分层流水线式架构会引起误差放大，例如，实体名提取的错误可能会传播到事件触发词及其相关属性的识别中。最近有工作通过联合预测实体名，事件触发词及其属性来解决这个问题。但是，深度学习的训练过程需要大量带标注的数据，而从零开始进行手动标注成本过高。
技术实现思路
为了克服现有技术中存在的不足，本专利技术在于提供了一种避免大量手动标注的问题、极大提高事件提取模型在实际工程上的可用性、降低整体模型的复杂度的半监督司法实体及事件联合提取方法。本专利技术采用的技术方案是：一种半监督司法实体及事件联合提取方法，其步骤如下：(1)司法文本以句为单位进行分词处理，形成词列表W＝w1，w2，...wi...wn，wi是第i个词，n是词的数量；(2)司法文本数据多特征嵌入，将分词后的司法文本数据转换成数字向量，所述多特征嵌入包括字符嵌入、词嵌入、词性嵌入和依赖特征嵌入，形成多特征嵌入司法文本向量；(3)将步骤(2)得到的多特征嵌入司法文本向量输入经过训练的司法实体及事件联合提取模型，提取实体、事件和事件属性，具体包括：所述多特征嵌入司法文本向量输入双向LSTM网络，定义实体、事件和事件属性识别任务，在双向LSTM网络的输出层实现实体、事件和事件属性联合提取。进一步，所述司法文本数据多特征嵌入，以词为基准，将词对应的词性特征和依赖特征串联，并将词对应的多个字符向量串联，获得多特征嵌入司法文本向量，形成多特征嵌入司法文本向量序列V＝v1，v2，...vi...vn。进一步，所述多特征嵌入司法文本向量序列V输入双向LSTM网络，生成隐藏向量序列H＝h1，h2，...hi...hn，hi为传统LSTM沿前后方向传递的级联向量：在每个隐藏向量hi中编码整个句子信息。进一步，所述实体识别任务，表示为：min(softmax(l(di,hi))-ei)其中，min表示最小化函数；softmax为柔性最大化函数；l表示线性函数；di为若干词的多特征嵌入司法文本向量串联构成的上下文级联向量；hi为多特征嵌入司法文本向量输入双向LSTM网络生成的隐藏向量；ei为分配给每个词的实体标签，所有实体标签组成实体标签序列E；所述事件识别任务，表示为：min(softmax(l(di,hi))-ti)其中，min表示最小化函数；softmax为柔性最大化函数；l表示线性函数；di为若干词的多特征嵌入司法文本向量串联构成的上下文级联向量；hi为多特征嵌入司法文本向量输入双向LSTM网络生成的隐藏向量；ti为分配给每个词的事件标签，所有事件标签组成事件标签序列T；所述事件属性识别任务，表示为：min(softmax(l(di,hi,Bij))-aij),Bij＝tanh(μ(hi-hj)+σ)其中，min表示最小化函数；softmax为柔性最大化函数；l表示线性函数；di为多特征嵌入司法文本向量的上下文级联向量；hi为多特征嵌入司法文本向量输入双向LSTM网络生成的隐藏向量；aij为事件属性标签，所有事件属性标签组成事件属性标签序列A；Bij为词列表中两个词对应的隐藏向量的相关性，以激活函数tanh表示，μ和σ为可训练的变量系数。进一步，所述aij通过词列表中两个词的多特征嵌入司法文本向量相似度计算，由其整数值表示wi的属性标签，如果满足以下任一条件，则aij设置为“Other”：(1)i＝j，(2)wi不是事件触发词，(3)wj不是实体或者属性触发词。进一步，所述实体、事件和事件属性联合提取，定义目标函数为联合概率P(A，T，E|V,H)，P表示贝叶斯概率，输出提取结果A、T、E，此联合概率可以分解为：P(A,T,E|V,H)＝P(T|V,H)*P(E|T,V,H)*P(A|T,E,V,H)。进一步，所述司法实体及事件联合提取模型的训练步骤，包括：(a)分别建立实体、事件、事件属性的类型表和触发词汇表；(b)数据标注：在样本集抽取固定数量样本，按照步骤(a)中的实体触发词汇表、事件触发词汇表及事件属性类型表，手动标注若干个文本，标注出实体、事件、事件属性，并将原始文本和标注文本成对形成的数据集分为训练集和测试集；(c)所述原始文本按照所述半监督司法实体及事件联合提取方法进行实体、事件和事件属性的预测，对应训练时按批次数据进行联合概率对数最小化的惩罚函数为：其中，α,β,γ是系数变量，从数据中学习；Π表示事件间的共生关系使用。进一步，所述司法实体及事件联合提取模型的训练采用半监督模型，加入数据增广和批量混合处理，并对惩罚函数修改。进一步，所述数据增广利用语义不变性，惩罚函数如下：其中，X，Y表示输入和输出，P表示贝叶斯概率，右上+表示为扩增数据，其中Y在扩增时保持不变，上方^表示未标注数据。进一步，所述批量混合是基于相关性的递增混合方式，以批次为单位将未标注样本和标注样本进行混合，未标注样本筛选是在未标注样本数据集中搜索与标注样本相关的数据，相关性以多特征嵌入司法文本向量v的余弦相似度表示，以相关性作为概率判断是否混合入训练数据。本专利技术的有益效果：1、使用基于数据增广和批量数据混合的半监督模型，避免大量手动标注的问题，极大提高事件提取模型在实际工程上的可用性。2、对实体及事件联合提取模型进行了改进。一方面，使用多种特征融合的方法，改善仅使用字符特征的引起的错误。另一方面，使用序列到序列(seq2seq)的结构改进，直接提取出事件类型，无需中间步骤提取出事件触发本文档来自技高网...

【技术保护点】
1.一种半监督司法实体及事件联合提取方法，其步骤如下：/n(1)司法文本以句为单位进行分词处理，形成词列表W＝w

【技术特征摘要】
1.一种半监督司法实体及事件联合提取方法，其步骤如下：
(1)司法文本以句为单位进行分词处理，形成词列表W＝w1，w2，...wi...，wn，wi是第i个词，n是词的数量；
(2)司法文本数据多特征嵌入，将分词后的司法文本数据转换成数字向量，所述多特征嵌入包括字符嵌入、词嵌入、词性嵌入和依赖特征嵌入，形成多特征嵌入司法文本向量；
(3)将步骤(2)得到的多特征嵌入司法文本向量输入经过训练的司法实体及事件联合提取模型，提取实体、事件和事件属性，具体包括：所述多特征嵌入司法文本向量输入双向LSTM网络，定义实体、事件和事件属性识别任务，在双向LSTM网络的输出层实现实体、事件和事件属性联合提取。


2.根据权利要求1所述的一种半监督司法实体及事件联合提取方法，其特征在于：所述司法文本数据多特征嵌入，以词为基准，将词对应的词性特征和依赖特征串联，并将词对应的多个字符向量串联，获得多特征嵌入司法文本向量，形成多特征嵌入司法文本向量序列V＝v1，v2，...vi...，vn。


3.根据权利要求2所述的一种半监督司法实体及事件联合提取方法，其特征在于：所述多特征嵌入司法文本向量序列V输入双向LSTM网络，生成隐藏向量序列H＝h1，h2，...hi...，hn，hi为传统LSTM沿前后方向传递的级联向量：



在每个隐藏向量hi中编码整个句子信息。


4.根据权利要求3所述的一种半监督司法实体及事件联合提取方法，其特征在于：
所述实体识别任务，表示为：
min(softmax(l(di,hi))-ei)
其中，min表示最小化函数；softmax为柔性最大化函数；l表示线性函数；di为若干词的多特征嵌入司法文本向量串联构成的上下文级联向量；hi为多特征嵌入司法文本向量输入双向LSTM网络生成的隐藏向量；ei为分配给每个词的实体标签，所有实体标签组成实体标签序列E；
所述事件识别任务，表示为：
min(softmax(l(di,hi))-ti)
其中，min表示最小化函数；softmax为柔性最大化函数；l表示线性函数；di为若干词的多特征嵌入司法文本向量串联构成的上下文级联向量；hi为多特征嵌入司法文本向量输入双向LSTM网络生成的隐藏向量；ti为分配给每个词的事件标签，所有事件标签组成事件标签序列T；
所述事件属性识别任务，表示为：
min(softmax(l(di,hi,Bij))-aij),Bij＝tanh(μ(hi-hj)+σ)
其中，min表示最小化函数；softmax为柔性最大化函数；l表示线性函数；di为多特征嵌入司法文本向量的上下文级联向量；hi为多特征嵌入司法文本向...

【专利技术属性】
技术研发人员：丁锴，李建元，陈涛，王开红，
申请(专利权)人：银江股份有限公司，
类型：发明
国别省市：浙江;33