一种基于多任务模型的词语处理方法及装置制造方法及图纸

本申请提供一种基于多任务模型的词语处理方法及装置，所述方法包括：获取候选实体片段，并基于候选实体片段生成候选实体片段编码向量；通过实体识别模型对候选实体片段编码向量进行实体识别处理和分类剪枝处理，获得识别剪枝编码向量；将识别剪枝编码向量输入至关系抽取模型进行两次打分生成第一关系对最终编码向量，将第一关系对最终编码向量通过关系抽取模型进行处理，可以准确地确定候选实体片段中词语之间的关系；将识别剪枝编码向量输入至共指消解模型进行两次打分生成第二关系对最终编码向量，将第二关系对最终编码向量通过共指消解模型进行处理，可以准确地确定候选实体片段中词语之间的共指关系。片段中词语之间的共指关系。片段中词语之间的共指关系。

【技术实现步骤摘要】
一种基于多任务模型的词语处理方法及装置


[0001]本申请涉及计算机
，特别涉及一种基于多任务模型的词语处理方法及装置、多任务模型的训练方法及装置、计算设备及计算机可读存储介质。

技术介绍

[0002]实体识别是指在非结构化的文本中识别并抽出具有特定意义或指代性强的实体，比如人名、地名、组织结构名、日期时间、专有名词等。
[0003]关系是两个或多个实体之间的某种联系，关系抽取是从文本中检测和识别出实体与实体之间具有的某种语义关系，比如句子“北京是中国的首都、政治中心和文化中心”，其中表述的关系可以为(中国，首都，北京)、(中国，政治中心，北京)或(中国，文化中心，北京)。
[0004]共指消解是特殊的关系抽取，共指消解的其中一个实体通常是另外一个实体在当前语境下的不同说法，两个实体之间的关系可以表示为(实体1，共指，实体2)。
[0005]目前，对于语句的实体识别任务、关系抽取任务、共指消解任务均是分别进行的，多任务之间信息无法共享，互相无法约束，进而导致实体识别、关系抽取、共指消解的效果均不理想。

技术实现思路

[0006]有鉴于此，本申请实施例提供了一种基于多任务模型的词语处理方法及装置、多任务模型的训练方法及装置、计算设备及计算机可读存储介质，以解决现有技术中存在的技术缺陷。
[0007]本申请实施例提供了一种基于多任务模型的词语处理方法，包括：
[0008]获取候选实体片段，并基于所述候选实体片段生成候选实体片段编码向量；
[0009]通过实体识别模型对所述候选实体片段编码向量进行实体识别处理和分类剪枝处理，获得识别剪枝编码向量；
[0010]将所述识别剪枝编码向量输入至关系抽取模型进行两次打分，生成第一关系对最终编码向量，将所述第一关系对最终编码向量通过所述关系抽取模型进行处理，确定所述候选实体片段中词语之间的关系；
[0011]将所述识别剪枝编码向量输入至共指消解模型进行两次打分，生成第二关系对最终编码向量，将所述第二关系对最终编码向量通过所述共指消解模型进行处理，确定所述候选实体片段中词语之间的共指关系。
[0012]可选地，将所述识别剪枝编码向量输入至关系抽取模型进行两次打分，生成第一关系对最终编码向量，将所述第一关系对最终编码向量通过所述关系抽取模型进行处理，确定所述候选实体片段中词语之间的关系，包括：
[0013]通过关系抽取模型对所述识别剪枝编码向量进行第一次打分，并基于分值对所述识别剪枝编码向量进行剪枝，获得关系抽取编码向量；
[0014]基于所述关系抽取编码向量进行第二次打分生成第一关系对最终编码向量，通过所述关系抽取模型对所述第一关系对最终编码向量进行关系抽取处理，获得关系抽取结果，并基于所述关系抽取结果确定所述候选实体片段中词语之间的关系。
[0015]可选地，将所述识别剪枝编码向量输入至共指消解模型进行两次打分，生成第二关系对最终编码向量，将所述第二关系对最终编码向量通过所述共指消解模型进行处理，确定所述候选实体片段中词语之间的共指关系，包括：
[0016]通过共指消解模型对所述识别剪枝编码向量进行第一次打分，并基于分值对所述识别剪枝编码向量进行剪枝，获得共指消解编码向量；
[0017]基于所述共指消解编码向量进行第二次打分生成第二关系对最终编码向量，通过所述共指消解模型对所述第二关系对最终编码向量进行共指消解处理，获得共指消解结果，并基于所述共指消解结果确定所述候选实体片段中词语之间的共指关系。
[0018]可选地，所述实体识别模型与所述关系抽取模型、共指消解模型共用一个用于打分的前馈神经网络；
[0019]所述通过实体识别模型对所述候选实体片段编码向量进行实体识别处理和分类剪枝处理，获得识别剪枝编码向量，包括：
[0020]将所述候选实体片段编码向量输入至实体识别模型中，通过所述前馈神经网络对所述候选实体片段编码向量进行打分；
[0021]基于所述候选实体片段编码向量的分数对所述候选实体编码向量进行分类处理，获得所述候选实体编码向量的分类标签，并对所述候选实体编码向量进行剪枝，获得识别剪枝编码向量。
[0022]可选地，所述关系抽取模型与所述实体识别模型共用一个用于打分的前馈神经网络；
[0023]通过关系抽取模型对所述识别剪枝编码向量进行第一次打分，并基于分值对所述识别剪枝编码向量进行剪枝，包括：
[0024]将所述识别剪枝编码向量输入至所述关系抽取模型中，通过所述前馈神经网络对所述识别剪枝编码向量进行第一次打分，得到所述识别剪枝编码向量的分数；
[0025]将分数大于或等于预设阈值的识别剪枝编码向量作为关系抽取编码向量。
[0026]可选地，所述共指消解模型与所述实体识别模型共用一个用于打分的前馈神经网络；
[0027]通过共指消解模型对所述识别剪枝编码向量进行第一次打分，并基于分值对所述识别剪枝编码向量进行剪枝，获得共指消解编码向量，包括：
[0028]将所述识别剪枝编码向量输入至所述共指消解模型中，通过所述前馈神经网络对所述识别剪枝编码向量进行第一次打分，得到所述识别剪枝编码向量的分数；
[0029]将分数大于或等于预设阈值的识别剪枝编码向量作为共指消解编码向量。
[0030]可选地，所述基于所述关系抽取编码向量进行第二次打分生成第一关系对最终编码向量，包括：
[0031]基于关系抽取编码向量以及所述关系抽取编码向量的分类标签，获得第一初始关系对编码向量；
[0032]对所述第一初始关系对编码向量进行分类预测处理，基于所述分类预测的结果按
照预设比例对所述第一初始关系对编码向量进行剪枝，获得第一关系对编码向量；
[0033]将所述第一关系对编码向量通过所述前馈神经网络进行第二次打分，基于第二次打分的分数以及所述第一关系对编码向量得到第一关系对最终编码向量。
[0034]可选地，基于第二次打分的分数以及所述第一关系对编码向量得到第一关系对最终编码向量，包括：
[0035]基于所述第一关系对编码向量的第二次打分的分数生成第一权重分数；
[0036]基于第一权重分数对所述第一关系对编码向量对应的关系抽取编码向量依次进行注意力处理，得到第一中间向量；
[0037]基于所述第一中间向量和所述第一关系对编码向量对应的关系抽取编码向量进行门控处理，得到第一门控向量；
[0038]根据所述第一门控向量、所述第一中间向量以及所述第一关系对编码向量对应的关系抽取编码向量进行重新编码，生成重新编码后的第一更新编码向量；
[0039]基于所述第一更新编码向量以及所述第一更新编码向量的分类标签，生成第一关系对最终编码向量。
[0040]可选地，所述对所述第一初始关系对编码向量进行分类预测处理，基于所述分类预测的结果按照预设比例对所述第一初始关系对编码向量进行剪枝，获得第一关系对编码向量，包括：
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多任务模型的词语处理方法，其特征在于，包括：获取候选实体片段，并基于所述候选实体片段生成候选实体片段编码向量；通过实体识别模型对所述候选实体片段编码向量进行实体识别处理和分类剪枝处理，获得识别剪枝编码向量；将所述识别剪枝编码向量输入至关系抽取模型进行两次打分，生成第一关系对最终编码向量，将所述第一关系对最终编码向量通过所述关系抽取模型进行处理，确定所述候选实体片段中词语之间的关系；将所述识别剪枝编码向量输入至共指消解模型进行两次打分，生成第二关系对最终编码向量，将所述第二关系对最终编码向量通过所述共指消解模型进行处理，确定所述候选实体片段中词语之间的共指关系。2.根据权利要求1所述的基于多任务模型的词语处理方法，其特征在于，将所述识别剪枝编码向量输入至关系抽取模型进行两次打分，生成第一关系对最终编码向量，将所述第一关系对最终编码向量通过所述关系抽取模型进行处理，确定所述候选实体片段中词语之间的关系，包括：通过关系抽取模型对所述识别剪枝编码向量进行第一次打分，并基于分值对所述识别剪枝编码向量进行剪枝，获得关系抽取编码向量；基于所述关系抽取编码向量进行第二次打分生成第一关系对最终编码向量，通过所述关系抽取模型对所述第一关系对最终编码向量进行关系抽取处理，获得关系抽取结果，并基于所述关系抽取结果确定所述候选实体片段中词语之间的关系。3.根据权利要求1所述的基于多任务模型的词语处理方法，其特征在于，将所述识别剪枝编码向量输入至共指消解模型进行两次打分，生成第二关系对最终编码向量，将所述第二关系对最终编码向量通过所述共指消解模型进行处理，确定所述候选实体片段中词语之间的共指关系，包括：通过共指消解模型对所述识别剪枝编码向量进行第一次打分，并基于分值对所述识别剪枝编码向量进行剪枝，获得共指消解编码向量；基于所述共指消解编码向量进行第二次打分生成第二关系对最终编码向量，通过所述共指消解模型对所述第二关系对最终编码向量进行共指消解处理，获得共指消解结果，并基于所述共指消解结果确定所述候选实体片段中词语之间的共指关系。4.根据权利要求1所述的基于多任务模型的词语处理方法，其特征在于，所述实体识别模型与所述关系抽取模型、共指消解模型共用一个用于打分的前馈神经网络；所述通过实体识别模型对所述候选实体片段编码向量进行实体识别处理和分类剪枝处理，获得识别剪枝编码向量，包括：将所述候选实体片段编码向量输入至实体识别模型中，通过所述前馈神经网络对所述候选实体片段编码向量进行打分；基于所述候选实体片段编码向量的分数对所述候选实体编码向量进行分类处理，获得所述候选实体编码向量的分类标签，并对所述候选实体编码向量进行剪枝，获得识别剪枝编码向量。5.根据权利要求2所述的基于多任务模型的词语处理方法，其特征在于，所述关系抽取模型与所述实体识别模型共用一个用于打分的前馈神经网络；
通过关系抽取模型对所述识别剪枝编码向量进行第一次打分，并基于分值对所述识别剪枝编码向量进行剪枝，包括：将所述识别剪枝编码向量输入至所述关系抽取模型中，通过所述前馈神经网络对所述识别剪枝编码向量进行第一次打分，得到所述识别剪枝编码向量的分数；将分数大于或等于预设阈值的识别剪枝编码向量作为关系抽取编码向量。6.根据权利要求3所述的基于多任务模型的词语处理方法，其特征在于，所述共指消解模型与所述实体识别模型共用一个用于打分的前馈神经网络；通过共指消解模型对所述识别剪枝编码向量进行第一次打分，并基于分值对所述识别剪枝编码向量进行剪枝，获得共指消解编码向量，包括：将所述识别剪枝编码向量输入至所述共指消解模型中，通过所述前馈神经网络对所述识别剪枝编码向量进行第一次打分，得到所述识别剪枝编码向量的分数；将分数大于或等于预设阈值的识别剪枝编码向量作为共指消解编码向量。7.根据权利要求5所述的基于多任务模型的词语处理方法，其特征在于，所述基于所述关系抽取编码向量进行第二次打分生成第一关系对最终编码向量，包括：基于关系抽取编码向量以及所述关系抽取编码向量的分类标签，获得第一初始关系对编码向量；对所述第一初始关系对编码向量进行分类预测处理，基于所述分类预测的结果按照预设比例对所述第一初始关系对编码向量进行剪枝，获得第一关系对编码向量；将所述第一关系对编码向量通过所述前馈神经网络进行第二次打分，基于第二次打分的分数以及所述第一关系对编码向量得到第一关系对最终编码向量。8.根据权利要求7所述的基于多任务模型的词语处理方法，其特征在于，基于第二次打分的分数以及所述第一关系对编码向量得到第一关系对最终编码向量，包括：基于所述第一关系对编码向量的第二次打分的分数生成第一权重分数；基于第一权重分数对所述第一关系对编码向量对应的关系抽取编码向量依次进行注意力处理，得到第一中间向量；基于所述第一中间向量和所述第一关系对编码向量对应的关系抽取编码向量进行门控处理，得到第一门控向量；根据所述第一门控向量、所述第一中间向量以及所述第一关系对编码向量对应的关系抽取编码向量进行重新编码，生成重新编码后的第一更新编码向量；基于所述第一更新编码向量以及所述第一更新编码向量的分类标签，生成第一关系对最终编码向量。9.根据权利要求7所述的基于多任务模型的词语处理方法，其特征在于，所述对所述第一初始关系对编码向量进行分类预测处理，基于所述分类预测的结果按照预设比例对所述第一初始关系对编码向量进行剪枝，获得第一关系对编码向量，包括：通过前馈神经网络对所述第一初始关系对编码向量进行打分，获得第一初始关系对编码向量的分数；对所述第一初始关系对编码向量进行分类预测处理，获得所述第一初始关系对编码向量的类别；基于所述第一初始关系对编码向量的类别和分数对所述第一初始关系对编码向量进
行剪枝，获得第一关系对编码向量。10.根据权利要求9所述的基于多任务模型的词语处理方法，其特征在于，所述基于关系抽取编码向量以及所述关系抽取编码向量的分类标签，获得第一初始关系对编码向量，包括：将所述关系抽取编码向量的分类标签进行编码处理，生成第一标签向量；基于任意两个所述关系抽取编码向量及其对应的所述第一标签向量，获得任意两个所述关系抽取编码向量的第一初始关系对编码向量。11.根据权利要求9所述的基于多任务模型的词语处理方法，其特征在于，所述基于关系抽取编码向量以及所述关系抽取编码向量的分类标签，获得第一初始关系对编码向量，包括：将所述关系抽取编码向量的分类标签进行编码处理，生成第一标签向量；基于任意两个所述关系抽取编码向量在所述候选实体片段中的位置，确定该任意两个关系抽取编码向量之间的语义向量；基于任意两个所述关系抽取编码向量、该任意两个关系抽取编码向量之间的语义向量以及每个所述关系抽取编码向量对应的所述第一标签向量，获得任意两个所述关系抽取编码向量的第一初始关系对编码向量。12.根据权利要求11所述的基于多任务模型的词语处理方法，其特征在于，确定该任意两个关系抽取编码向量之间的语义向量，包括：确定该任意两个关系抽取编码向量之间的多个词向量；将所述任意两个关系抽取编码向量之间的多个词向量进行池化处理或者注意力处理，得到对应的语义向量。13.根据权利要求10或11所述的基于多任务模型的词语处理方法，其特征在于，获得任意两个所述关系抽取编码向量的第一初始关系对编码向量，包括：根据任意两个所述关系抽取编码向量在所述候选实体片段中的语义关系，分别获得任意两个所述关系抽取编码向量的正向语义关系的第一初始关系对编码向量和反向语义关系的第一初始关系对编码向量。14.根据权利要求13所述的基于多任务模型的词语处理方法，其特征在于，通过前馈神经网络对所述第一初始关系对编码向量进行打分，获得第一初始关系对编码向量的分数，包括：通过前馈神经网络对任意两个所述关系抽取编码向量的正向语义关系的第一初始关系对编码向量和反向语义关系的第一初始关系对编码向量进行打分，并使反向语义关系的第一初始关系对编码向量的分数小于预设阈值。15.根据权利要求6所述的基于多任务模型的词语处理方法，其特征在于，所述基于所述共指消解编码向量进行第二次打分生成第二关系对最终编码向量，包括：基于共指消解编码向量以及所述共指消解编码向量的分类标签，获得第二初始关系对编码向量；对所述第二初始关系对编码向量进行分类预测处理，基于所述分类预测的结果按照预设比例对所述第二初始关系对编码向量进行剪枝，获得第二关系对编码向量；将所述第二关系对编码向量通过所述前馈神经网络进行第二次打分，基于第二次打分
的分数以及所述第二关系对编码向量得到第二关系对最终编码向量。16.根据权利要求15所述的基于多任务模型的词语处理方法，其特征在于，基于第二次打分的分数以及所述第二关系对编码向量得到第二关系对最终编码向量，包括：基于对所述第二关系对编码向量的第二次打分的分数生成第二权重分数；基于第二权重分数对所述第二关系对编码向量对应的共指消解编码向量依次进行注意力处理，得到第二中间向量；基于所述第二中间向量和所述第二关系对编码向量对应的共指消解编码向量进行门控处理，得到第二门控向量；根据所述第二门控向量、所述第二中间向量以及所述第二关系对编码向量对应的共指消解编码向量进行重新编码，生成重新编码后的第二更新编码向量；基于所述第二更新编码向量以及所述第二更新编码向量的分类标签，生成第二关系对最终编码向量。17.根据权利要求15所述的基于多任务模型的词语处理方法，其特征在于，基于共指消解编码向量以及所述共指消解编码向量的分类标签，获得第二初始关系对编码向量，包括：将所述共指消解编码向量的分类标签进行编码处理，生成第二标签向量；基于任意两个所述共指消解编码向量及其对应的所述第二标签向量，获得任意两个所述共指消解编码向量的第二初始关系对编码向量。18.根据权利要求15所述的基于多任务模型的词语处理方法，其特征在于，基于共指消解编码向量以及所述共指消解编码向量的分类标签，获得第二初始关系对编码向量，包括：将所述共指消解编码向量的分类标签进行编码处理，生成第二标签向量；基于任意两个所述共指消解编码向量在所述候选实体片段中的位置，确定该任意两个共指消解编码向量之间的语义向量；基于任意两个所述共指消...

【专利技术属性】
技术研发人员：白静，李长亮，唐剑波，
申请(专利权)人：北京金山数字娱乐科技有限公司，
类型：发明
国别省市：