信息处理方法和装置制造方法及图纸

本发明专利技术公开了一种信息处理装置和方法，其中，所述方法包括对嵌入的向量进行编码处理得到编码向量；将所述编码向量的部分向量进行向量重新嵌入；将所述编码向量进行迭代解码和排序过滤处理；将所述迭代解码和排序过滤处理后的表示向量进行部分向量的重新嵌入。因此，本发明专利技术实施例通过特征编码模块和排序过滤模块的联合作用，利用特征编码的返回重用，并且不断对编码后的信息不断打分排序，实现特征编码对输入数据模块的高质量反馈。

【技术实现步骤摘要】
信息处理方法和装置
本专利技术涉及计算机
，尤其涉及一种信息处理方法和装置。
技术介绍
从非结构化文本中提取关系三元组(实体-关系-实体)是构建大规模知识图的关键。通常，早期的信息抽取将实体抽取和关系抽取看作串联的任务，这样的串联模型在建模上相对更简单，但这样将实体识别和关系抽取当作两个独立的任务明显会存在以下缺点，1.实体冗余,由于先对抽取的实体进行两两配对，然后再进行关系分类，没有关系的候选实体对所带来的冗余信息，会提升错误率、增加计算复杂度。2.交互缺失,忽略了这两个任务之间的内在联系和依赖关系，从而导致关系抽取任务的结果严重依赖于实体抽取的结果，导致误差累积的问题。针对上述串联模型明显存在的一些问题，近年来有许多工作考虑将实体识别与关系抽取任务进行联合建模。目前联合抽取模型总体上可分为两大类：1、共享参数的联合抽取模型，2、联合解码的联合抽取模型。其中，共享参数的联合抽取模型，通过共享参数(共享输入特征或者内部隐层状态)实现联合，此种方法对子模型没有限制，但是由于使用独立的解码算法，导致实体模型和关系模型之间交互不强。为了加强实体模型和关系模型的交互，联合解码的联合抽取模型被提出来。但是，这种情况下需要对子模型特征的丰富性以及联合解码的精确性之间做权衡：一方面如果设计精确的联合解码算法，往往需要对特征进行限制，例如用条件随机场建模，使用维特比解码算法可以得到全局最优解，但是往往需要限制特征的阶数，导致降低子模型特征的丰富性。另一方面如果使用近似解码算法，比如集束搜索，在特征方面可以抽取任意阶的特征，但是联合解码得到的结果是不精确的。
技术实现思路
本专利技术提供一种信息处理方法和装置，能够通过联合抽取模型训练过程中句子的迭代记忆，也可以通过知识图谱的更新进行迭代记忆，实现信息抽取准确率不断提升的良性循环的功能；并且还能够实现了端到端的实体及实体关系(属性)联合抽取，加强了实体和关系(属性)之间的信息交互。本专利技术提供一种信息处理装置，包括数据嵌入模块、特征编码模块和排序过滤模块，其中所述数据嵌入模块，用于向量的嵌入，并将嵌入的向量发送给所述特征编码模块进行编码处理；所述特征编码模块，用于对所述数据嵌入模块嵌入的向量进行编码处理得到编码向量，并将所述编码向量部分反馈给所述数据嵌入模块进行向量的嵌入，以及将所述编码向量输出给所述排序过滤模块进行处理；所述排序过滤模块，用于对所述特征编码模块输出的编码向量进行迭代解码和排序过滤处理，并将迭代解码和排序过滤处理后的表示向量部分发送给所述数据嵌入模块进行向量的嵌入；所述嵌入的向量包括所述特征编码模块反馈的编码向量和所述排序过滤模块处理后反馈的表示向量，还包括预先对输入数据进行处理后的字词混合向量和位置信息向量。可选地，所述数据嵌入模块，具体还用于：对所述编码向量进行维度变换，得到一个固定维度大小的编码向量，根据尾实体相对于头实体的相对位置，编码得到位置编码向量，然后将其与前述的固定维度大小的编码向量进行拼接，形成新的编码向量，之后，将新的编码向量与所述字词混合向量和位置信息向量共用融入到同一个嵌入层，并发送给所述特征编码模块。可选地，所述排序过滤模块包括：迭代解码单元：用于对所述特征编码模块输出的编码向量进行迭代解码处理，并将迭代解码处理后的表示向量发送给打分单元；打分单元：用于通过打分函数对所述表示向量进行置信度计算；过滤单元：用于根据所述表示向量的置信度，选择出置信度大于置信度阈值的表示向量，并且将每个选择出的表示向量与其他已经选择出的表示向量进行相似度比较，并将相似度小于相似度阈值的表示向量发送给控制开关；控制开关：用于控制所述过滤单元过滤后的表示向量发送给所述数据输入模块进行向量的嵌入；以及控制所述特征编码模块输出的编码向量直接进入特征解码模块进行特征解码。可选地，所述的装置还包括：特征解码模块，用于将排序过滤模块处理后的表示向量经过自注意力机制进行序列变换，将序列变换后的解码向量经过神经网络模型进行解码并输出。可选地，所述的装置还包括：更新辅助模块，用于将所述特征解码模块输出的解码向量更新知识图谱，并将更新后的知识图谱发送给所述数据嵌入模块。本专利技术实施例还提供一种信息处理方法，包括：对嵌入的向量进行编码处理得到编码向量；将所述编码向量的部分向量进行向量重新嵌入；将所述编码向量进行迭代解码和排序过滤处理；将所述迭代解码和排序过滤处理后的表示向量进行部分向量的重新嵌入。所述嵌入的向量包括所述特征编码模块部分反馈的编码向量和所述排序过滤模块处理后部分反馈的表示向量，还包括预先对输入数据进行处理后的字词混合向量和位置信息向量。可选地，将所述编码向量进行向量的嵌入包括：对所述编码向量进行维度变换，得到一个固定维度大小的编码向量，根据尾实体相对于头实体的相对位置，编码得到位置编码向量，然后将其与前述的固定维度大小的编码向量进行拼接，形成新的编码向量，之后，将新的编码向量与所述字词混合向量和位置信息向量共用融入到同一个嵌入层。可选地，将所述编码向量进行迭代解码和排序过滤处理包括：对所述编码向量进行迭代解码处理；通过打分函数对所述迭代解码处理后的表示向量进行置信度计算；根据所述表示向量的置信度，选择出置信度大于置信度阈值的表示向量，并且将每个选择出的表示向量与其他已经选择出的表示向量进行相似度比较；将相似度小于相似度阈值的表示向量重新组合进行向量的嵌入；控制所述特征编码模块输出的编码向量直接进入特征解码模块进行特征解码。可选地，将所述编码向量进行迭代解码和排序过滤处理之后还包括：将排序过滤处理后的表示向量通过自注意力机制进行序列变换，将序列变换后的表示向量经过神经网络模型进行解码并输出解码向量。可选地，将序列变换后的表示向量经过神经网络模型进行解码并输出解码向量之后还包括：根据所述输出的解码向量更新知识图谱，以使向量嵌入时使用更新后的知识图谱。本专利技术实施例所述的装置具有可迭代记忆功能，首先是通过特征编码模块和排序过滤模块的联合作用，利用特征编码的返回重用，并且不断对编码后的信息不断打分排序，实现特征编码对输入数据模块的高质量反馈。其次，还可以通过解码向量(即三元组信息：头实体，关系和尾实体)输出后，通过更新辅助实现训练过程中对知识图谱的更新，再通过远程监督实现对输入数据的扩充，加入记忆信息。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术一实施例提供的信息处理装置结构示意图；图2为本专利技术另一实施例提供的信息处理系统功能结构示意图；图3本文档来自技高网...

【技术保护点】
1.一种信息处理装置，其特征在于，包括数据嵌入模块、特征编码模块和排序过滤模块，其中/n所述数据嵌入模块，用于向量的嵌入，并将嵌入的向量发送给所述特征编码模块进行编码处理；/n所述特征编码模块，用于对所述数据嵌入模块嵌入的向量进行编码处理得到编码向量，并将所述编码向量部分反馈给所述数据嵌入模块进行向量的嵌入，以及将所述编码向量输出给所述排序过滤模块进行处理；/n所述排序过滤模块，用于对所述特征编码模块输出的编码向量进行迭代解码和排序过滤处理，并将迭代解码和排序过滤处理后的表示向量部分发送给所述数据嵌入模块进行向量的嵌入；/n所述嵌入的向量包括所述特征编码模块反馈的编码向量和所述排序过滤模块处理后反馈的表示向量，还包括预先对输入数据进行处理后的字词混合向量和位置信息向量。/n

【技术特征摘要】
1.一种信息处理装置，其特征在于，包括数据嵌入模块、特征编码模块和排序过滤模块，其中
所述数据嵌入模块，用于向量的嵌入，并将嵌入的向量发送给所述特征编码模块进行编码处理；
所述特征编码模块，用于对所述数据嵌入模块嵌入的向量进行编码处理得到编码向量，并将所述编码向量部分反馈给所述数据嵌入模块进行向量的嵌入，以及将所述编码向量输出给所述排序过滤模块进行处理；
所述排序过滤模块，用于对所述特征编码模块输出的编码向量进行迭代解码和排序过滤处理，并将迭代解码和排序过滤处理后的表示向量部分发送给所述数据嵌入模块进行向量的嵌入；
所述嵌入的向量包括所述特征编码模块反馈的编码向量和所述排序过滤模块处理后反馈的表示向量，还包括预先对输入数据进行处理后的字词混合向量和位置信息向量。


2.根据权利要求1所述的装置，其特征在于，所述数据嵌入模块，具体还用于：对所述编码向量进行维度变换，得到一个固定维度大小的编码向量，根据尾实体相对于头实体的相对位置，编码得到位置编码向量，然后将其与前述的固定维度大小的编码向量进行拼接，形成新的编码向量，之后，将新的编码向量与所述字词混合向量和位置信息向量共用融入到同一个嵌入层，并发送给所述特征编码模块。


3.根据权利要求1所述的装置，其特征在于，所述排序过滤模块包括：
迭代解码单元：用于对所述特征编码模块输出的编码向量进行迭代解码处理，并将迭代解码处理后的表示向量发送给打分单元；
打分单元：用于通过打分函数对所述表示向量进行置信度计算；
过滤单元：用于根据所述表示向量的置信度，选择出置信度大于置信度阈值的表示向量，并且将每个选择出的表示向量与其他已经选择出的表示向量进行相似度比较，并将相似度小于相似度阈值的表示向量发送给控制开关；
控制开关：用于控制所述过滤单元过滤后的表示向量发送给所述数据输入模块进行向量的嵌入；以及控制所述特征编码模块输出的编码向量直接进入特征解码模块进行特征解码。


4.根据权利要求1-3中任一项所述的装置，其特征在于，还包括：
特征解码模块，用于将排序过滤模块处理后的表示向量经过自注意力机制进行序列变换，将序列变换后的解码向量经过神经网络模型进行解码并输出。

【专利技术属性】
技术研发人员：蔡华，
申请(专利权)人：华院数据技术上海有限公司，
类型：发明
国别省市：上海;31