【技术实现步骤摘要】
本公开涉及信息处理的，具体地涉及用于自然语言处理的信息处理装置、信息处理方法和机器可读存储介质。
技术介绍
1、这个部分提供了与本公开有关的背景信息，这不一定是现有技术。
2、文档级实体关系抽取(document-level relation extraction，dlre)指的是抽取文档中实体对(entity pair)之间的关系。该任务特点在于一篇文档中往往包含多个实体(entity)，因此需要对所有的实体对进行关系判定。对于一个实体，文档中又可能包含多个对于该实体的描述(mention)。如图1所示，左侧方框示出了一篇英文文档作为文档示例，其中，文档中每对“*”之间的内容(加粗)表示一个描述。为了便于说明，图1中用加粗且加下划线方式标出描述同一实体的四个描述。dlre模型以文档和实体/描述信息为输入，输出为实体对[eti,etj](i、j为非零的自然数)的关系。图1中右侧方框中的0和1表示不同类别关系的标识符。
3、dlre模型中有一个很重要的步骤，即得到每个实体的向量表示(embedding)。通常做法是先得到每个描述的向量表示，然后把表示相同实体的描述的向量表示合并到一起，作为实体的向量表示，如图2的(a)所示，将4个描述的向量表示hm按照该公式求和，得到该实体的向量表示he。
4、虽然这种向量表示的方法高效，容易计算，但是问题也很明显。所有的描述在求和的过程中权重是一样的，但是在不同的关系和上下文(context)中，不同的描述往往起到不同的作用。如图2的(b)所示，“samuel
5、为了解决上述问题，已有一些方法提出。现有方法主要分为两类：
6、1.依靠人工标注信息来区分描述的重要性。比如docred(document-levelrelation extraction dataset)中会给每个关系标注说明该关系的句子集合，这样可以根据描述的位置来判定其重要性。但是有这样标注的数据集非常少，这种有监督的方法很难推广。
7、2.使用注意力机制，通过计算实体中每个描述和所有关系的注意力分值，通过分值区分描述的重要性。这种方法的问题在于注意力机制加大了模型的计算量，模型的时间复杂度o(n2)提高为o(n3)，将计算量提高了一个数量级，影响了计算效率。
8、为了解决上述问题中的至少一个，本申请提出了一种新的文档级实体关系抽取方法。
技术实现思路
1、这个部分提供了本公开的一般概要，而不是其全部范围或其全部特征的全面披露。
2、本公开的目的在于提供一种用于文档级实体关系抽取的信息处理装置、信息处理方法和机器可读存储介质。
3、根据本公开的一方面，提供了一种信息处理装置，包括：构建单元，其通过原始训练样本、针对原始训练样本中的每个实体对分别构建对应于每个实体对的多个训练样本，多个训练样本中的至少一部分反映实体对中的实体之间的局部上下文关系；以及训练单元，其利用多个训练样本、针对每个实体对训练文档级关系抽取模型中的预训练语言模型，以学习每个实体对中的实体的描述在不同上下文中的重要性。
4、根据本公开的另一方面，提供了一种信息处理方法，包括：通过原始训练样本、针对原始训练样本中的每个实体对分别构建对应于每个实体对的多个训练样本，多个训练样本中的至少一部分反映所述实体对中的实体之间的局部上下文关系；以及利用多个训练样本、针对每个实体对训练文档级关系抽取模型中的预训练语言模型，以学习每个实体对中的实体的描述在不同上下文中的重要性。
5、根据本公开的另一方面，提供了一种机器可读存储介质，其上携带有包括存储在其中的机器可读指令代码的程序产品，其中，所述指令代码当由计算机读取和执行时，能够使所述计算机执行根据本公开的信息处理方法。
6、使用根据本公开的信息处理装置、信息处理方法和机器可读存储介质，可以使预训练语言模型学习到描述在不同上下文中的重要性，而不需要额外的人工标注。
7、从在此提供的说明中，进一步的适用性区域将会变得明显。这个概要中的说明和特定例子只是为了示意的目的，而不旨在限制本公开的范围。
本文档来自技高网...【技术保护点】
1.一种信息处理装置，包括：
2.根据权利要求1所述的信息处理装置，其中，所述多个训练样本包括：所述原始训练样本中的包括所述实体对的局部上下文实例，并且
3.根据权利要求2所述的信息处理装置，其中，所述构建单元通过以下方法来获得所述局部上下文实例：
4.根据权利要求3所述的信息处理装置，其中，
5.根据权利要求2所述的信息处理装置，其中，所述多个训练样本还包括：
6.根据权利要求5所述的信息处理装置，其中，所述构建单元通过构造仅包含所述实体对中的每个实体的描述的内容的训练样本来获得所述实体对实例。
7.根据权利要求2所述的信息处理装置，其中，所述多个训练样本还包括：负训练样本，所述负训练样本指示与不存在关系的实体对有关的样本，并且其中，所述构建单元通过以下方法来构建所述负训练样本：
8.根据权利要求7所述的信息处理装置，其中，所述负训练样本包括文档级负样本和实体负样本，并且
9.一种信息处理方法，包括：
10.一种机器可读存储介质，其上携带有包括存储在其中的机器可读指令代码
...【技术特征摘要】
1.一种信息处理装置，包括：
2.根据权利要求1所述的信息处理装置，其中，所述多个训练样本包括：所述原始训练样本中的包括所述实体对的局部上下文实例，并且
3.根据权利要求2所述的信息处理装置，其中，所述构建单元通过以下方法来获得所述局部上下文实例：
4.根据权利要求3所述的信息处理装置，其中，
5.根据权利要求2所述的信息处理装置，其中，所述多个训练样本还包括：
6.根据权利要求5所述的信息处理装置，其中，所述构建单元通过构造仅包含所述实体对中的每个实体的描述的内容的训练样本来获得所述实...
【专利技术属性】
技术研发人员：郑仲光，房璐，曹奕翎，孙俊，
申请(专利权)人：富士通株式会社，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。