【技术实现步骤摘要】
本专利技术属于自然语言处理，具体涉及一种基于多粒度混合注意力的数据发现的实体关系联合抽取方法及系统。
技术介绍
1、随着数据的不断增长，数据安全变得至关重要，在这一背景下，数据分级分类和数据识别发现变得愈发关键。数据分级分类有助于对不同类型的实体和关系进行分类和标记，从而为信息提取任务提供更多上下文和语义信息。同时，数据识别发现技术能够自动识别和探索潜在的实体和关系，为信息抽取模型的拓展提供支持。
2、自然语言处理(nlp)中的信息提取任务关键在于文本中提取实体和它们之间的关系。这些实体对通过语义关系连接起来，形成关系三元组，通常以主体、关系、客体的形式呈现。联合抽取模型因其能够同时处理实体和它们之间的关系而备受关注，这有助于提高信息抽取的一致性和效率。
3、在现有研究方法中，通常采用单个模型来对实体和关系进行建模，以实现三元组的端到端关系联合提取。尽管这种方法有助于提高信息抽取的一致性和效率，但却未能很好地解决一个词在不同语境中表示不同的实体或关系的多义性，也未能很好地处理一个实体参与同一文本中多个关系的重叠问题。
4、因此，目前的研究需要致力于解决多义性和重叠关系等问题，并结合数据分级分类和数据识别发现的方法，以更全面、准确地提取实体和关系信息，从而推动知识图谱构建、机器翻译、问答系统等下游任务的发展。
5、通过上述分析，现有技术存在的问题及缺陷为：
6、在单个模型中对实体和关系进行建模来实现三元组的端到端关系的联合提取，这种方法不能很好解决一个词在不同语境中表示不
7、现有技术：基于bert的实体关系抽取方法
8、该技术使用bert预训练模型进行文本的上下文表示，并通过一系列神经网络模块进行实体和关系的抽取。具体而言，该方法首先将文本数据输入bert模型，获得每个单词的上下文特征。然后，利用这些特征进行实体识别和关系抽取。
9、现有技术存在的技术问题：
10、1)局部特征提取不足：传统的基于bert的实体关系抽取方法主要依赖于bert的全局语境特征，但对于文本中的局部特征提取不足。而局部特征对于一些特定的实体关系抽取任务，例如命名实体识别，具有重要的价值。
11、2)缺乏多粒度关注机制：现有的基于bert的模型缺乏对于不同粒度特征的关注机制，这会使得模型无法充分利用多层次、多尺度的信息。
12、3)实体关系抽取的联合性不足：传统的方法通常先进行实体抽取，然后基于抽取出的实体进行关系抽取，两个步骤相对独立，没有充分考虑实体和关系的联动性，这会影响抽取的准确性。
13、4)缺乏有效的融合机制：在处理实体和关系的时候，现有的技术往往缺乏有效的信息融合机制，导致模型无法充分利用实体和关系之间的信息。
技术实现思路
1、针对现有技术存在的问题，本专利技术提供了一种基于多粒度混合注意力的数据发现的实体关系联合抽取方法及系统。
2、本专利技术是这样实现的，一种基于多粒度混合注意力的数据发现的实体关系联合抽取方法，所述基于多粒度混合注意力的数据发现的实体关系联合抽取方法包括：
3、步骤一，以表格空间的形式标记实体和关系的位置，将文本数据输入bert预训练模型，获得每个单词的上下文表示，捕捉d维的文本语义信息m1；
4、步骤二，将文本语义信息m1输入到cnn模块，提取局部特征信息m5；
5、步骤三，将文本语义信息m1输入到第一个多头注意力模块，形成全局注意力信息e1，将局部特征信息m5输入到第二个多头注意力模块，形成局部注意力信息e2；
6、步骤四，将文本语义信息m1、全局注意力信息e1和局部注意力信息e2相加，然后将其输入到门控单元，获得实体的特征信息d2；
7、步骤五，将文本局部特征信息m5与实体特征信息d2相加，并通过一个小残差网络和layernorm层进行进一步处理，将这融合后的信息用作多头注意力模块的k值，同时使用文本语义信息m1作为第三个多头注意力模块的v值，实体特征信息d2作为第三个多头注意力模块的q值,得到融合了实体特征的实体注意力信息e3；
8、步骤六，将语义信息m1、全局注意力信息e1和实体注意力信息e3相加后输入到门控单元得到实体关系联合特征信息，将其输入到双仿射模型完成实体和关系的联合抽取。
9、进一步，所述步骤二，将语义信息m1作为输入，利用cnn模块得到文本的局部特征信息，具体计算公式如下:
10、m2＝cnn(m1)
11、m3＝maxpooling(m2)
12、m4＝averagepooling(m3)
13、m5＝relu(mlp(m3+m4))
14、cnn表示卷积神经网络，maxpooling表示最大池化层，averagepooling表示平均池化层，mlp表示全连接层，m2,m3,m4,m5为d维的向量，m5为最后得到的局部特征信息。
15、进一步，所述步骤三，将语义信息输入m1到第一个多头注意力模块，得到全局注意力信息，具体公式如下:
16、headj＝attention(qj,kj,vj)
17、
18、multihead(m1)＝concact(head1,1/4,headh)w1o
19、e1＝multihead(m1)
20、其中和headj表示的是第j个注意力模块的输出，concact表示连接操作，e1表示全局注意力信息；
21、将文本的局部特征信息m5输入到第二个多头注意力模块中，得到局部注意力信息，具体公式如下:
22、headj＝attention(qj,kj,vj)
23、
24、multihead(m1)＝concact(head1,1/4,headh)w2o
25、e2＝multihead(m5)
26、其中和headj表示的是第j个注意力模块的输出，concact表示连接操作，e2表示局部注意力信息。
27、进一步，所述步骤四，将文本语义信息m1、全局注意力信息e1和局部注意力信息e2相加后输入到门控单元得到实体特征信息，具体公式如下：
28、d1＝m1+e1+e2
29、d2＝s(d1)*d1
30、其中d1和d2为d维的向量,s()表示sigmoid激活函数。
31、进一步，所述步骤五，具体公式如下：
32、m6＝layernorm(m5+d2)+m5+d2
33、headj＝attention(qj,kj,vj)
34、
35、multihead(d2,m6,m1)＝concact(head1,1/4,headh)w3o
36、本文档来自技高网...
【技术保护点】
1.一种基于多粒度混合注意力的数据发现的实体关系联合抽取方法，其特征在于，包括：
2.根据权利要求1所述的基于多粒度混合注意力的数据发现的实体关系联合抽取方法，其特征在于，所述步骤二，将语义信息M1作为输入，利用CNN模块得到文本的局部特征信息，具体计算公式如下:
3.根据权利要求1所述的基于多粒度混合注意力的数据发现的实体关系联合抽取方法，其特征在于，所述步骤三，将语义信息输入M1到第一个多头注意力模块，得到全局注意力信息，具体公式如下:
4.根据权利要求1所述的基于多粒度混合注意力的数据发现的实体关系联合抽取方法，其特征在于，所述步骤四，将文本语义信息M1、全局注意力信息E1和局部注意力信息E2相加后输入到门控单元得到实体特征信息，具体公式如下：
5.根据权利要求1所述的基于多粒度混合注意力的数据发现的实体关系联合抽取方法，其特征在于，所述步骤五，具体公式如下：
6.根据权利要求1所述的基于多粒度混合注意力的数据发现的实体关系联合抽取方法，其特征在于，所述步骤六，将语义信息M1、全局注意力信息E1和实体注意力信息E3
7.一种实施如权利要求1-6任意一项所述基于多粒度混合注意力的数据发现的实体关系联合抽取系统，其特征在于，所述基于多粒度混合注意力的数据发现的实体关系联合抽取系统包括：
8.一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1-6任意一项所述基于多粒度混合注意力的数据发现的实体关系联合抽取方法的步骤。
9.一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如权利要求1-6任意一项所述基于多粒度混合注意力的数据发现的实体关系联合抽取方法的步骤。
10.一种信息数据处理终端，其特征在于，所述信息数据处理终端用于实现如权利要求7所述基于多粒度混合注意力的数据发现的实体关系联合抽取系统。
...【技术特征摘要】
1.一种基于多粒度混合注意力的数据发现的实体关系联合抽取方法，其特征在于，包括：
2.根据权利要求1所述的基于多粒度混合注意力的数据发现的实体关系联合抽取方法，其特征在于，所述步骤二，将语义信息m1作为输入，利用cnn模块得到文本的局部特征信息，具体计算公式如下:
3.根据权利要求1所述的基于多粒度混合注意力的数据发现的实体关系联合抽取方法，其特征在于，所述步骤三，将语义信息输入m1到第一个多头注意力模块，得到全局注意力信息，具体公式如下:
4.根据权利要求1所述的基于多粒度混合注意力的数据发现的实体关系联合抽取方法，其特征在于，所述步骤四，将文本语义信息m1、全局注意力信息e1和局部注意力信息e2相加后输入到门控单元得到实体特征信息，具体公式如下：
5.根据权利要求1所述的基于多粒度混合注意力的数据发现的实体关系联合抽取方法，其特征在于，所述步骤五，具体公式如下：
6.根据权利要求1所述的基于多粒度混合注意力的数据发现的实体关系联合抽取方法，其...
【专利技术属性】
技术研发人员：秦智，杜自豪，张仕斌，王琳，邬子悦，罗昊，
申请(专利权)人：成都信息工程大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。