模型训练方法、装置、设备及存储介质制造方法及图纸

本公开涉及一种模型训练方法、装置、设备及存储介质，该方法包括：利用基于知识图谱中的实体训练后的语言模型，对输入文本进行字符预测；从字符预测完成的输入文本中提取实体；对提取的实体进行预测，得到所述提取的实体是否属于所述知识图谱中的实体。通过本公开提供的模型训练方法可提高实体的识别精度。的模型训练方法可提高实体的识别精度。的模型训练方法可提高实体的识别精度。

【技术实现步骤摘要】
模型训练方法、装置、设备及存储介质


[0001]本公开涉及信息
，尤其涉及一种模型训练方法、装置、设备及存储介质。

技术介绍

[0002]随着科技的不断发展，语言模型在自然语言处理中占有重要的地位，它的任务是预测一个句子在语言中出现的概率。
[0003]但是，本申请的专利技术人发现，现有技术中的语言模型是通过文本训练得到的，导致训练出的语言模型无法对文本中实体的内涵进行准确理解和推断。

技术实现思路

[0004]为了解决上述技术问题或者至少部分地解决上述技术问题，本公开提供了一种模型训练方法、装置、设备及存储介质，通过本公开提供的模型训练方法可提高实体的识别精度。
[0005]第一方面，本公开实施例提供一种模型训练方法，包括：利用基于知识图谱中的实体训练后的语言模型，对输入文本进行字符预测；从字符预测完成的输入文本中提取实体；对提取的实体进行预测，得到提取的实体是否属于所述知识图谱中的实体。
[0006]第二方面，本公开实施例提供一种模型训练装置，包括：第一预测模块，用于利用基于知识图谱中的实体训练本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种模型训练方法，其中，所述方法包括：利用基于知识图谱中的实体训练后的语言模型，对输入文本进行字符预测；从字符预测完成的输入文本中提取实体；对提取的实体进行预测，得到所述提取的实体是否属于所述知识图谱中的实体。2.根据权利要求1所述的方法，其中，通过如下方法训练所述语言模型：获得输入句子中每个字符分别对应的第一编码信息，并利用所述每个字符分别对应的第一编码信息预测所述句子中每个字符的标注；根据所述句子中每个字符的标注，确定所述句子中的一个或多个样本实体；针对所述句子中的每个样本实体，根据所述样本实体的第一实体向量，在所述知识图谱的参考实体中寻找与所述样本实体的相似度大于或等于预设阈值的待选实体；根据所述样本实体对应的待选实体，确定所述样本实体的第二实体向量；根据所述句子中每个样本实体的第二实体向量，对所述语言模型进行训练。3.根据权利要求2所述的方法，其中，根据所述句子中每个样本实体的第二实体向量，对所述语言模型进行训练，包括：根据所述句子中每个样本实体的第二实体向量，确定所述句子中每个字符分别对应的目标编码信息；至少根据所述句子中部分字符对应的目标编码信息对所述语言模型进行训练。4.根据权利要求2所述的方法，其中，所述样本实体的第一实体向量是根据所述样本实体包括的第一个字符的第一编码信息和所述样本实体包括的最后一个字符的第一编码信息得到的。5.根据权利要求2所述的方法，其中，根据所述样本实体的第一实体向量，在所述知识图谱的参考实体中寻找与所述样本实体的相似度大于或等于预设阈值的待选实体，包括：根据所述样本实体的第一实体向量、以及所述知识图谱中的多个参考实体分别对应的第三实体向量，确定所述多个参考实体分别与所述样本实体的第一相似度；根据所述多个参考实体分别与所述样本实体的第一相似度，从所述多个参考实体中确定出一个或多个待选实体，所述待选实体与所述样本实体的第一相似度大于或等于预设阈值。6.根据权利要求5所述的方法，其中，根据所述样本实体对应的待选实体，确定所述样本实体的第二实体向量，包括：将所述一个或多个待选实体分别与所述样本实体的第一相似度进行标准化处理，得到每个待选实体分别与所述样本实体的第二相似度；根据所述每个待选实体分别与所述样本实体的第二相似度、以及所述每个待选实体分别对应的第三实体向量，确定所述样本实...

【专利技术属性】
技术研发人员：谭传奇，刘一佳，袁正，黄松芳，黄非，
申请(专利权)人：阿里巴巴达摩院杭州科技有限公司，
类型：发明
国别省市：