事件检测模型的构建方法、装置、电子设备及存储介质制造方法及图纸

本发明专利技术实施例提供了一种基于开放域知识增强的事件检测深度学习模型的构建方法、装置、电子设备及存储介质，方法包括：获取标注数据和未标注数据；将标注数据输入到第一事件分类模型中，进行训练；根据外部语义库采用义原映射算法，对未标注数据中的第一数据子集进行处理，得到开放域触发词识别结果；根据开放域触发词识别结果和第二数据子集，采用知识蒸馏的方式，对第二事件分类模型进行训练；对训练后的第一事件分类模型和训练后的第二事件分类模型进行联合训练，得到基于开放域知识增强的事件检测深度学习模型。本发明专利技术实施例得到的基于开放域知识增强的事件检测深度学习模型可以有效解决各类标注分布不均匀的长尾难题。

【技术实现步骤摘要】
事件检测模型的构建方法、装置、电子设备及存储介质
本专利技术涉及计算机
，尤其涉及一种基于开放域知识增强的事件检测深度学习模型的构建方法、装置、电子设备及存储介质。
技术介绍
事件检测旨在从非结构化新闻报道中发现事件，目前，事件检测已经作为人工智能领域的一项基础核心技术，被广泛引入到阅读理解以及文本摘要任务。事件检测任务分为两步，第一步检测句子中的触发词，第二步将触发词分类为预定义的事件类型。现有的工作大都专注于第二步事件类型分类，例如提出了动态卷积网络、层级注意力机制等模型。然而，触发词识别同样非常的关键。触发词识别存在长尾问题，即训练样例只集中于少数类型上，剩余的大量的类只有极少的训练样例。以基准数据集ACE2005为例，频率小于5的触发词达到总数的78％以上。针对长尾问题，若采用有监督方法仅依赖标注语料进行训练，则容易过度拟合，在未出现/标注稀疏的触发器上表现不佳；若采用自迭代方法根据伪标签拓展训练实例，则会由于种子集数据本身分布不均，拓展数据集同样集中在多标注的触发词上，无法缓解长尾问题；若采用远程监督方法是依赖外部知识库扩展更多的数据，受限于知识库本身的领域局限以及覆盖率低的问题，无法缓解长尾问题。
技术实现思路
针对现有技术中存在的问题，本专利技术实施例提供一种基于开放域知识增强的事件检测深度学习模型的构建方法、装置、电子设备及存储介质。第一方面，本专利技术实施例提供一种基于开放域知识增强的事件检测深度学习模型的构建方法，包括：获取标注数据和未标注数据；其中，所述标注数据指标记有触发词的句子数据；所述未标注数据指未标记有触发词的句子数据；所述未标注数据包括第一数据子集和第二数据子集；将所述标注数据输入到第一事件分类模型中，以对所述第一事件分类模型进行训练；根据外部语义库采用义原映射算法，对所述未标注数据中的第一数据子集进行语义分析处理，以识别所述第一数据子集中的触发词，得到开放域触发词识别结果；根据所述开放域触发词识别结果和所述第二数据子集，采用知识蒸馏的方式，对第二事件分类模型进行训练；对训练后的第一事件分类模型和训练后的第二事件分类模型进行联合训练，得到基于开放域知识增强的事件检测深度学习模型。进一步地，根据外部语义库采用义原映射算法，对所述未标注数据中的第一数据子集进行语义分析处理，以识别所述第一数据子集中的触发词，得到开放域触发词识别结果，包括：基于外部语义库WordNet对第一数据子集进行词语消歧，将第一数据子集中的词对应到WordNet中单一语义的义原集中；根据第一数据子集中每个词所属的义原集是否触发事件识别所述第一数据子集每个词是否为触发词，以得到开放域触发词识别结果。进一步地，所述第二事件分类模型包括学生模型和教师模型；相应地，根据所述开放域触发词识别结果和所述第二数据子集，采用知识蒸馏的方式，对第二事件分类模型进行训练，包括：以拥有开放域触发词识别结果的第一数据子集作为教师模型的输入，以所述第二数据子集作为学生模型的输入，以教师模型和学生模型的预测结果相同为训练目标，对所述教师模型和学生模型进行训练。进一步地，以拥有开放域触发词识别结果的第一数据子集作为教师模型的输入，以所述第二数据子集作为学生模型的输入，以教师模型和学生模型的预测结果相同为训练目标，对所述教师模型和学生模型进行训练，包括：设定训练目标：p(Y|S+,θ)＝p(Y|S-,θ)其中，p(Y|S+,θ)与p(Y|S-,θ)分别为教师模型和学生模型的预测结果；其中，教师模型的输入S+是标记有开放域触发词知识的第一数据子集，学生模型的输入S-则是未标记开放域触发词知识的第二数据子集；其中，θ表示教师模型和学生模型共享的参数群，Y表示事件类型预测结果，其中，S+的构造过程包括：引入两个符号B-TRI和E-TRI，标记开放域触发词在句子中开始位置和结束位置，B-TRI表示开始位置，E-TRI表示结束位置，给定原始句子S＝<w1,w2,…,wn>以及开放域触发词wi，编码进开放域触发词的句子表示为S+＝<w1,w2,…,B-TRI,wi,E-TRI,…,wn>；其中，S-的构造过程包括：通过随机屏蔽开放域触发词的事件性词语，扰乱学生模型的输入，给定原始句子S＝<w1,w2,…,wn>以及开放域触发词wi，构造S-＝{w1,w2,…,[MASK],…,wn}；其中，[MASK]表示随机屏蔽了一部分开放域触发词；通过将句子S+以及S-分别输入教师模型和学生模型，获得教师模型和学生模型两者的预测结果p(Y|S+,θ)和p(Y|S-,θ)；若未标注数据为则第二事件分类模型的优化函数为：其中，JT(θ)表示衡量教师和学生模型预测分布差距的损失函数，KL表示信息增益散度，||表示分布相比运算符，NU表示未标注数据的规模，表示教师模型的预测分布，表示学生模型的预测分布。进一步地，采用屏蔽词填写任务，利用周围的单词学习引入符号B-TRI和E-TRI的语义表示。进一步地，将所述标注数据输入到第一事件分类模型中，以对所述第一事件分类模型进行训练，包括：若Si＝<w1,w2,…,wn>和Yi＝<v1,v2,…,vn>分别表示第i个训练句子及其事件类型；通过全连接层将句子的隐含表示H转化为中间表示O，以将表示维度和事件个数对齐来执行计算预测概率Oijc＝δ(WH+b)的步骤；其中，W和b是全连接层的参数，随机初始化并在训练过程中不断优化，Oijc表示Si中的第j个单词属于第c个事件类别的概率；通过softmax函数归一化O，以获得条件概率；若标注数据为则第一事件分类模型的优化函数为：其中，p(Yi|Si,θ)表示事件各分类上的条件概率，n表示句子中的词数，exp(Oijc)表示第i个训练句子中第j个词语在第c个事件类型上归一化的概率，C表示事件类型数，JL(θ)表示事件分类的损失函数，NL表示标注数据的个数。进一步地，对训练后的第一事件分类模型和训练后的第二事件分类模型进行联合训练，得到基于开放域知识增强的事件检测深度学习模型，包括：建立待进行联合训练的基于开放域知识增强的事件检测深度学习模型：J(θ)＝JL(θ)+λJT(θ)对上述模型进行联合训练，并在计算JT时，停止教师模型的梯度下降，以确保学习是从教师模型到学生模型的；其中，J(θ)表示总体的损失函数，λ表示调和系数，λJT(θ)表示调和系数λ乘以教师和学生模型预测差距损失函数JT(θ)；其中，在训练过程中，采用训练信号退火TSA算法，线性地释放标注数据中的训练信号。第二方面，本专利技术实施例提供了一种基于开放域知识增强的事件检测深度学习模型的构建装置，包括：获取模块，用于获取标注数据和未标注数据；其中，所述标注数据指标记有触发词的句子数据；所述未标注数据指未标记有本文档来自技高网...

【技术保护点】
1.一种基于开放域知识增强的事件检测深度学习模型的构建方法，其特征在于，包括：/n获取标注数据和未标注数据；其中，所述标注数据指标记有触发词的句子数据；所述未标注数据指未标记有触发词的句子数据；所述未标注数据包括第一数据子集和第二数据子集；/n将所述标注数据输入到第一事件分类模型中，以对所述第一事件分类模型进行训练；/n根据外部语义库采用义原映射算法，对所述未标注数据中的第一数据子集进行语义分析处理，以识别所述第一数据子集中的触发词，得到开放域触发词识别结果；/n根据所述开放域触发词识别结果和所述第二数据子集，采用知识蒸馏的方式，对第二事件分类模型进行训练；/n对训练后的第一事件分类模型和训练后的第二事件分类模型进行联合训练，得到基于开放域知识增强的事件检测深度学习模型。/n

【技术特征摘要】
1.一种基于开放域知识增强的事件检测深度学习模型的构建方法，其特征在于，包括：
获取标注数据和未标注数据；其中，所述标注数据指标记有触发词的句子数据；所述未标注数据指未标记有触发词的句子数据；所述未标注数据包括第一数据子集和第二数据子集；
将所述标注数据输入到第一事件分类模型中，以对所述第一事件分类模型进行训练；
根据外部语义库采用义原映射算法，对所述未标注数据中的第一数据子集进行语义分析处理，以识别所述第一数据子集中的触发词，得到开放域触发词识别结果；
根据所述开放域触发词识别结果和所述第二数据子集，采用知识蒸馏的方式，对第二事件分类模型进行训练；
对训练后的第一事件分类模型和训练后的第二事件分类模型进行联合训练，得到基于开放域知识增强的事件检测深度学习模型。


2.根据权利要求1所述的基于开放域知识增强的事件检测深度学习模型的构建方法，其特征在于，根据外部语义库采用义原映射算法，对所述未标注数据中的第一数据子集进行语义分析处理，以识别所述第一数据子集中的触发词，得到开放域触发词识别结果，包括：
基于外部语义库WordNet对第一数据子集进行词语消歧，将第一数据子集中的词对应到WordNet中单一语义的义原集中；
根据第一数据子集中每个词所属的义原集是否触发事件识别所述第一数据子集每个词是否为触发词，以得到开放域触发词识别结果。


3.根据权利要求1所述的基于开放域知识增强的事件检测深度学习模型的构建方法，其特征在于，所述第二事件分类模型包括学生模型和教师模型；
相应地，根据所述开放域触发词识别结果和所述第二数据子集，采用知识蒸馏的方式，对第二事件分类模型进行训练，包括：
以拥有开放域触发词识别结果的第一数据子集作为教师模型的输入，以所述第二数据子集作为学生模型的输入，以教师模型和学生模型的预测结果相同为训练目标，对所述教师模型和学生模型进行训练。


4.根据权利要求3所述的基于开放域知识增强的事件检测深度学习模型的构建方法，其特征在于，以拥有开放域触发词识别结果的第一数据子集作为教师模型的输入，以所述第二数据子集作为学生模型的输入，以教师模型和学生模型的预测结果相同为训练目标，对所述教师模型和学生模型进行训练，包括：
设定训练目标：
p(Y|S+，θ)＝p(Y|S-，θ)
其中，p(Y|S+，θ)与p(Y|S-，θ)分别为教师模型和学生模型的预测结果；其中，教师模型的输入S+是标记有开放域触发词知识的第一数据子集，学生模型的输入S-则是未标记开放域触发词知识的第二数据子集；其中，θ表示教师模型和学生模型共享的参数群，Y表示事件类型预测结果，其中，S+的构造过程包括：引入两个符号B-TRI和E-TRI，标记开放域触发词在句子中开始位置和结束位置，B-TRI表示开始位置，E-TRI表示结束位置，给定原始句子S＝＜w1，w2，...，wn＞以及开放域触发词wi，编码进开放域触发词的句子表示为S+＝＜w1，w2，...，B-TRI，wi，E-TRI，...，wn＞；其中，S-的构造过程包括：通过随机屏蔽开放域触发词的事件性词语，扰乱学生模型的输入，给定原始句子S＝＜w1，w2，...，wn＞以及开放域触发词wi，构造S-＝{w1，w2，...，[MASK]，...，wn}；其中，[MASK]表示随机屏蔽了一部分开放域触发词；
通过将句子S+以及S-分别输入教师模型和学生模型，获得教师模型和学生模型两者的预测结果p(Y|S+，θ)和p(Y|S-，θ)；
若未标注数据为则第二事件分类模型的优化函数为：



其中，JT(θ)表示衡量教师和学生模型预测分布差距的损失函数，K...

【专利技术属性】
技术研发人员：许斌，仝美涵，李涓子，侯磊，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京;11