System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 实体链接模型的训练方法、实体链接方法、电子设备及介质技术_技高网

实体链接模型的训练方法、实体链接方法、电子设备及介质技术

技术编号:40091401 阅读:17 留言:0更新日期:2024-01-23 16:16
本申请提供了实体链接模型的训练方法、实体链接方法、电子设备及介质,模型训练方法包括,从用户生成内容(UGC)中获取待测实体的信息,所述实体信息包括所述待测实体的名称、所述待测实体的类别特征、所述用户生成内容的标题以及所述用户生成内容的标签;从实体库中获取候选实体的信息,所述候选实体的信息包括所述候选实体的名称,所述候选实体的描述信息和所述候选实体的类别特征;使用所述待测实体的信息和所述候选实体的信息训练所述实体链接模型。该方法可以提高短文本的实体链接准确性。

【技术实现步骤摘要】

本专利技术涉及实体识别和实体链接领域,特别涉及一种实体链接模型的训练方法、实体链接方法、电子设备及介质


技术介绍

1、实体识别是自然语言处理的基础识别任务,可以判断是否关联到某一实体。在相关技术中通常从正常文本中通过ner(named entity recognition)技术进行实体识别,以及结合知识库进行实体链接el(entity linking)。

2、在用户生成内容(user generated content,ugc)场景中,非常规的简短文本中缺乏足够丰富的语义信息,会对ner和el技术带来很大的挑战。


技术实现思路

1、本申请提供了一种实体链接模型的训练方法、实体链接方法、电子设备及介质,可以提高短文本的实体链接准确性。

2、本申请的第一方面公开了一种实体链接方法,用于电子设备,所述方法包括,从用户生成内容(ugc)中获取待测实体的信息,所述实体信息包括所述待测实体的名称、所述待测实体的类别特征、所述用户生成内容的标题以及所述用户生成内容的标签;从实体库中获取候选实体的信息,所述候选实体的信息包括所述候选实体的名称,所述候选实体的描述信息和所述候选实体的类别特征;使用所述待测实体的信息和所述候选实体的信息训练所述实体链接模型。

3、在上述第一方面的一种可能的实现中,所述待测实体的信息包括,提取所述待测实体出现的位置片段前后n个字符的文本并拼接,当所述待测实体前后字符小于n时,则对所述待测实体出现的位置补充信息。

4、在上述第一方面的一种可能的实现中,所述方法包括根据所述待测实体的上下文获取所述待测实体的类别特征。

5、在上述第一方面的一种可能的实现中,所述方法包括对所述候选实体的名称,所述候选实体的描述信息和所述候选实体的类别特征进行拼接。

6、在上述第一方面的一种可能的实现中,所述方法包括在所述待测实体信息的前后和所述候选实体信息的前后加入显式标识符号,并在所述待测实体信息和所述候选实体信息中间插入分割符拼接。

7、在上述第一方面的一种可能的实现中,获取待测实体的信息还包括,对所述用户生成内容中的实体名称进行替换。

8、在上述第一方面的一种可能的实现中,当所述预测结果表示所述待测实体和所述候选实体不相关时,将所述待测实体的信息更新至所述实体库。

9、在上述第一方面的一种可能的实现中,所述用户生成内容包括笔记、图片和语音中的一种或多种。

10、本申请的第二方面公开了一种实体链接方法,所述方法包括:从用户生成内容(ugc)中获取待测实体的信息,所述实体信息包括所述待测实体的名称、所述待测实体的类别特征、所述用户生成内容的标题以及所述用户生成内容的标签;将所述获取待测实体的信息输入至实体链接模型,输出实体链接结果;其中,所述实体链接模型是根据根据本申请第一方面的训练方法训练后的实体链接模型。

11、本申请的第三方面公开了一种电子设备,所述设备包括存储有计算机可执行指令的存储器和处理器;当所述指令被所述处理器执行时,使得所述设备实施根据本申请第一和第二方面的方法。

12、本申请的第四方面公开了一种计算机可读介质,所述存储介质存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行,以实现本申请第一方面和第二方面的方法。

13、本申请的第五方面公开了一种计算机程序产品,所述计算机程序被处理器执行时实现本申请第一方面和第二方面的方法。

14、本申请提供的实体链接模型的训练方法、实体链接方法、电子设备及介质,输入至实体链接模型的待测实体的信息和候选实体的信息综合了实体名称、类别特征以及候选实体的描述等信息,不是仅仅考虑了实体出现的局部信息,还融合了ugc内容的全局信息,能够提高短文本的实体链接准确性。

本文档来自技高网...

【技术保护点】

1.一种实体链接模型的训练方法,应用于电子设备,其特征在于,所述方法包括,

2.根据权利要求1所述的实体链接模型的训练方法,其特征在于,获取所述待测实体的名称包括,提取所述待测实体出现的位置片段前后N个字符的文本并拼接,当所述待测实体前后字符小于N时,则对所述待测实体出现的位置补充信息。

3.根据权利要求2所述的实体链接模型的训练方法,其特征在于,所述方法包括根据所述待测实体的上下文获取所述待测实体的类别特征。

4.根据权利要求1所述的实体链接模型的训练方法,其特征在于,所述方法包括对所述候选实体的名称,所述候选实体的描述信息和所述候选实体的类别特征进行拼接。

5.根据权利要求1所述的实体链接模型的训练方法,其特征在于,所述方法包括在所述待测实体信息的前后和所述候选实体信息的前后加入显式标识符号,并在所述待测实体信息和所述候选实体信息中间插入分割符拼接。

6.根据权利要求1所述的实体链接模型的训练方法,其特征在于,获取待测实体的信息还包括,对所述用户生成内容中的实体名称进行替换。

7.根据权利要求1所述的实体链接模型的训练方法,其特征在于,当所述预测结果表示所述待测实体和所述候选实体不相关时,将所述待测实体的信息更新至所述实体库。

8.根据权利要求1所述的实体链接模型的训练方法,其特征在于,所述用户生成内容包括笔记、图片和语音中的一种或多种。

9.一种实体链接方法,其特征在于,所述方法包括:

10.一种电子设备,其特征在于,所述设备包括存储有计算机可执行指令的存储器和处理器;当所述指令被所述处理器执行时,使得所述设备实施根据权利要求1至9中任一项所述的方法。

11.一种计算机可读介质,其特征在于,所述存储介质存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行,以实现权利要求1至9中任一项所述的方法。

12.一种计算机程序产品,包括计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至9中任一项所述的方法。

...

【技术特征摘要】

1.一种实体链接模型的训练方法,应用于电子设备,其特征在于,所述方法包括,

2.根据权利要求1所述的实体链接模型的训练方法,其特征在于,获取所述待测实体的名称包括,提取所述待测实体出现的位置片段前后n个字符的文本并拼接,当所述待测实体前后字符小于n时,则对所述待测实体出现的位置补充信息。

3.根据权利要求2所述的实体链接模型的训练方法,其特征在于,所述方法包括根据所述待测实体的上下文获取所述待测实体的类别特征。

4.根据权利要求1所述的实体链接模型的训练方法,其特征在于,所述方法包括对所述候选实体的名称,所述候选实体的描述信息和所述候选实体的类别特征进行拼接。

5.根据权利要求1所述的实体链接模型的训练方法,其特征在于,所述方法包括在所述待测实体信息的前后和所述候选实体信息的前后加入显式标识符号,并在所述待测实体信息和所述候选实体信息中间插入分割符拼接。

6.根据权利要求1所述的实体链接模型的训练方法,其特征在于,获取待测实体的...

【专利技术属性】
技术研发人员:郅波王沛雨张鹏涛
申请(专利权)人:行吟信息科技上海有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1