本发明专利技术提供了一种分词和实体联合识别模型训练方法及装置，其中，该方法包括：基于双向注意力机制确定输入字符的上下文特征与句法结构；下文特征的权重向量与该输入字符的句法结构的权重向量确定该输入字符的双向注意力向量；将该输入字符的上下文特征与该双向注意力向量进行拼接，得到第一拼接结果；根据该第一拼接结果对分词和实体联合识别模型进行训练，得到训练好的分词和实体联合识别模型，可以解决相关技术中将句法结构融合到中文分词和命名实体识别联合模型，模型可能会被不准确的句法结构所误导，做出错误的预测的问题，可以减小噪声误导，提高了预测结果的准确性。提高了预测结果的准确性。提高了预测结果的准确性。
【技术实现步骤摘要】
一种分词和实体联合识别模型训练方法及装置
[0001]本专利技术涉及数据处理领域，具体而言，涉及一种分词和实体联合识别模型训练方法及装置。
技术介绍
[0002]中文分词和命名实体识别联合模型专注于将词的上下文信息融合到联合标注中，忽略了句子的句法结构，而句法结构本身也需要大量的时间和成本，使用外部工具可以自动获取句法结构，但获得的句法结构不能完成正确，带有噪声，单纯的将句法结构融合到模型中，模型可能会被不准确的句法结构所误导，做出错误的预测。
[0003]针对相关技术中将句法结构融合到中文分词和命名实体识别联合模型，模型可能会被不准确的句法结构所误导，做出错误的预测的问题，尚未提出解决方案。
技术实现思路
[0004]本专利技术实施例提供了一种分词和实体联合识别模型训练方法及装置，以至少解决相关技术中将句法结构融合到中文分词和命名实体识别联合模型，模型可能会被不准确的句法结构所误导，做出错误的预测的问题。
[0005]根据本专利技术的一个实施例，提供了一种分词和实体联合识别模型训练方法，包括：
[0006]基于双向注意力机制确定输入字符的上下文特征与句法结构；
[0007]根据所述输入字符的上下文特征的权重向量与所述输入字符的句法结构的权重向量确定所述输入字符的双向注意力向量；
[0008]将所述输入字符的上下文特征与所述双向注意力向量进行拼接，得到第一拼接结果；
[0009]根据所述第一拼接结果对分词和实体联合识别模型进行训练，得到训练好的分词和实体联合识别模型。
[0010]可选地，在根据所述输入字符的上下文特征的权重向量与所述输入字符的句法结构的权重向量确定所述输入字符的双向注意力向量之前，所述方法还包括：
[0011]根据所述输入字符的上下文特征与所述输入字符的字向量确定所述输入字符的上下文特征的权重向量；
[0012]根据所述输入字符的句法结构与所述输入字符的字向量确定所述输入字符的句法结构的权重向量。
[0013]可选地，根据所述输入字符的上下文特征的权重向量与所述输入字符的句法结构的权重向量确定所述输入字符的双向注意力向量包括：
[0014]通过加和的法方式将所述输入字符的上下文特征的权重向量与所述输入字符的句法结构的权重向量进行拼接，得到所述输入字符的双向注意力向量。
[0015]可选地，根据所述第一拼接结果对分词和实体联合识别模型进行训练，得到训练好的分词和实体联合识别模型包括：
[0016]将所述第一拼接结果输入到所述分词和实体联合识别模型的全连接层中，对所述分词和实体联合识别模型进行训练，得到训练好的分词和实体联合识别模型。
[0017]可选地，在根据所述第一拼接结果对分词和实体联合识别模型进行训练，得到训练好的分词和实体联合识别模型之后，所述方法还包括：
[0018]基于所述双向注意力机制确定待识别字符的上下文特征与句法结构；
[0019]根据所述待识别字符的上下文特征的权重向量与所述待识别字符的句法结构的权重向量确定所述待识别字符的双向注意力向量；
[0020]将所述待识别字符的上下文特征与所述待识别字符的双向注意力向量进行拼接，得到第二拼接结果；
[0021]将所述第二拼接结果输入所述训练好的分词和实体联合识别模型中，得到所述训练好的分词和实体联合识别模型输出的所述待识别字符对应的多种输出结果的概率，其中，所述概率最大的输出结果为所述待识别字符的识别结果。
[0022]可选地，在根据所述待识别字符的上下文特征的权重向量与所述待识别字符的句法结构的权重向量确定所述待识别字符的双向注意力向量之前，所述方法还包括：
[0023]根据所述待识别字符的上下文特征与所述待识别字符的字向量确定所述待识别字符的上下文特征的权重向量；
[0024]根据所述待识别字符的句法结构与所述待识别字符的字向量确定所述待识别字符的句法结构的权重向量。
[0025]可选地，根据所述待识别字符的上下文特征的权重向量与所述待识别字符的句法结构的权重向量确定所述待识别字符的双向注意力向量包括：
[0026]通过加和的法方式将所述待识别字符的上下文特征的权重向量与所述待识别字符的句法结构的权重向量进行拼接，得到所述待识别字符的双向注意力向量。
[0027]根据本专利技术的另一个实施例，还提供了一种分词和实体联合识别模型训练装置，包括：
[0028]第一确定模块，用于基于双向注意力机制确定输入字符的上下文特征与句法结构；
[0029]第二确定模块，用于根据所述输入字符的上下文特征的权重向量与所述输入字符的句法结构的权重向量确定所述输入字符的双向注意力向量；
[0030]第一拼接模块，用于将所述输入字符的上下文特征与所述双向注意力向量进行拼接，得到第一拼接结果；
[0031]训练模块，用于根据所述第一拼接结果对分词和实体联合识别模型进行训练，得到训练好的分词和实体联合识别模型。
[0032]可选地，所述装置还包括：
[0033]第三确定模块，用于根据所述输入字符的上下文特征与所述输入字符的字向量确定所述输入字符的上下文特征的权重向量；
[0034]第四确定模块，用于根据所述输入字符的句法结构与所述输入字符的字向量确定所述输入字符的句法结构的权重向量。
[0035]可选地，所述第二确定模块，还用于：
[0036]通过加和的法方式将所述输入字符的上下文特征的权重向量与所述输入字符的
句法结构的权重向量进行拼接，得到所述输入字符的双向注意力向量。
[0037]可选地，所述训练模块，还用于：
[0038]将所述第一拼接结果输入到所述分词和实体联合识别模型的全连接层中，对所述分词和实体联合识别模型进行训练，得到训练好的分词和实体联合识别模型。
[0039]可选地，所述装置还包括：
[0040]第五确定模块，用于基于所述双向注意力机制确定待识别字符的上下文特征与句法结构；
[0041]第六确定模块，用于根据所述待识别字符的上下文特征的权重向量与所述待识别字符的句法结构的权重向量确定所述待识别字符的双向注意力向量；
[0042]第二拼接模块，用于将所述待识别字符的上下文特征与所述待识别字符的双向注意力向量进行拼接，得到第二拼接结果；
[0043]输入模块，用于将所述第二拼接结果输入所述训练好的分词和实体联合识别模型中，得到所述训练好的分词和实体联合识别模型输出的所述待识别字符对应的多种输出结果的概率，其中，所述概率最大的输出结果为所述待识别字符的识别结果。
[0044]可选地，所述装置还包括：
[0045]第七确定模块，用于根据所述待识别字符的上下文特征与所述待识别字符的字向量确定所述待识别字符的上下文特征的权重向量；
[0046]第八确定模块，用于根据所述待识别字符的句法结构与所述待识别字符的字向量确定所述待识别字符的句法结构的本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种分词和实体联合识别模型训练方法，其特征在于，包括：基于双向注意力机制确定输入字符的上下文特征与句法结构；根据所述输入字符的上下文特征的权重向量与所述输入字符的句法结构的权重向量确定所述输入字符的双向注意力向量；将所述输入字符的上下文特征与所述双向注意力向量进行拼接，得到第一拼接结果；根据所述第一拼接结果对分词和实体联合识别模型进行训练，得到训练好的分词和实体联合识别模型。2.根据权利要求1所述的方法，其特征在于，在根据所述输入字符的上下文特征的权重向量与所述输入字符的句法结构的权重向量确定所述输入字符的双向注意力向量之前，所述方法还包括：根据所述输入字符的上下文特征与所述输入字符的字向量确定所述输入字符的上下文特征的权重向量；根据所述输入字符的句法结构与所述输入字符的字向量确定所述输入字符的句法结构的权重向量。3.根据权利要求1所述的方法，其特征在于，根据所述输入字符的上下文特征的权重向量与所述输入字符的句法结构的权重向量确定所述输入字符的双向注意力向量包括：通过加和的法方式将所述输入字符的上下文特征的权重向量与所述输入字符的句法结构的权重向量进行拼接，得到所述输入字符的双向注意力向量。4.根据权利要求1所述的方法，其特征在于，根据所述第一拼接结果对分词和实体联合识别模型进行训练，得到训练好的分词和实体联合识别模型包括：将所述第一拼接结果输入到所述分词和实体联合识别模型的全连接层中，对所述分词和实体联合识别模型进行训练，得到训练好的分词和实体联合识别模型。5.根据权利要求1至4中任一项所述的方法，其特征在于，在根据所述第一拼接结果对分词和实体联合识别模型进行训练，得到训练好的分词和实体联合识别模型之后，所述方法还包括：基于所述双向注意力机制确定待识别字符的上下文特征与句法结构；根据所述待识别字符的上下文特征的权重向量与所述待识别字符的句法结构的权重向量确定所述待识别字符的双向注意力向量；将所述待识别字符的上下文特征与所述待识别字符的双向注意力...
【专利技术属性】
技术研发人员：杨聪聪，张勇，朱海刚，田江，向小佳，丁永建，李璠，
申请(专利权)人：光大科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。