一种基于多任务迁移的信息抽取方法、装置及电子设备制造方法及图纸

本发明专利技术公开了一种基于多任务迁移的信息抽取方法、装置及电子设备，方法包括：获取不同任务的文本，对文本进行编码，生成文本的语义表征序列；将语义表征序列输入共性特征抽取网络，输出不同任务的共有特征；将语义表征序列输入私有特征抽取网络，输出不同任务的私有特征；将所述共有特征和所述私有特征进行融合，通过序列解码获取序列中每个位置的类别信息，完成信息抽取。本发明专利技术实施例减少了中算法模型在特定信息抽取任务上对数据量的过度依赖；减少人工标注大量数据的人力和时间成本；提高了信息抽取效率。信息抽取效率。信息抽取效率。

【技术实现步骤摘要】
一种基于多任务迁移的信息抽取方法、装置及电子设备


[0001]本专利技术涉及数据处理
，尤其涉及一种基于多任务迁移的信息抽取方法、装置及电子设备。

技术介绍

[0002]基于神经网络的深度学习方法近年来在各个领域取得了不小的发展，而文本信息抽取是各领域的项目落地必须的环节之一。尽管其技术和应用比较成熟，但是在训练样本太少的领域效果不尽如人意。特别是金融领域，由于场景和语料的复杂性，想要获得比较理想的抽取效果，必须增加大量的训练样本，而增强大量的训练样本又需要大量的人工标注，这个过程是消耗不少人工成本和时间成本。而，有效地利用金融领域中不同任务的数据集之间的信息共性来提高算法模型在目标任务数据集的信息抽取能力，便成为了提高模型性能，提高人工成本的有效解决方案。
[0003]在深度学习框架下，现有的金融文本信息抽取技术是搭建神经网络构成编码层和解码层，其中编码层对金融文本信息进行信息的整合编码，而后输出编码序列，再将编码序列输入到解码层进行解码。这个过程中，编码层分为两类，一类是以Bert为首的各种预训练模型，另一类则是LSTM，CNN等非预训练模型；而对于解码层，目前主要有softmax解码，CRF解码。
[0004]现有技术要得到比较理想的信息抽取效果，前提是要有充足的高质量的训练数据。由于金融领域的数据比较敏感，所以想要获得充足的领域数据并不是一件容易的事；而另一方面即使获得了巨量的数据，但是人工标注带的时间和人工成本也不容忽视。
[0005]再者，在现有技术下，不同的任务的信息抽取系统是独立的没有相互联系起来，或者说现有技术想要完成某项任务的信息抽取，它仅仅集中在该任务范畴，没有充分利用其他任务的资源。这不仅造成了资源浪费，还割裂了不同任务之间的语法与语义的共性；导致了信息抽取准确率没能突破现有的瓶颈。
[0006]因此，现有技术还有待于改进和发展。

技术实现思路

[0007]鉴于上述现有技术的不足，本专利技术提供了一种基于多任务迁移的信息抽取方法、装置及电子设备，旨在解决现有技术中的信息抽取方法需要获取大量的人工标注的问题。
[0008]本专利技术的技术方案如下：
[0009]本专利技术第一实施例提供了一种基于多任务迁移的信息抽取方法，方法包括：
[0010]获取不同任务的文本，对文本进行编码，生成文本的语义表征序列；
[0011]将语义表征序列输入共性特征抽取网络，输出不同任务的共有特征；
[0012]将语义表征序列输入私有特征抽取网络，输出不同任务的私有特征；
[0013]将所述共有特征和所述私有特征进行融合，通过序列解码获取序列中每个位置的类别信息，完成信息抽取。
[0014]进一步地，所述将语义表征序列输入共性特征抽取网络，输出不同任务的共有特征后，包括：
[0015]将所述共有特征输入共性特征判别器，获取共有特征的任务来源。
[0016]进一步地，所述获取不同任务的文本，对文本进行编码，生成文本的语义表征序列，包括：
[0017]获取来自于不同任务的文本，通过BERT预训练模型对文本进行编码；
[0018]根据BERT预训练模型的编码结果，得到文本对应的语义表征序列。
[0019]进一步地，所述将语义表征序列输入共性特征抽取网络，输出不同任务的共有特征，包括：
[0020]将语义表征序列输入BiLSTM网络，获取BiLSTM网络的输出结果，所述输出结果为不同任务的共有特征。
[0021]进一步地，所述将语义表征序列输入私有特征抽取网络，输出不同任务的私有特征，包括：
[0022]将语义表征序列输入CNN模型，所述CNN模型采用不同大小的卷积核；
[0023]根据CNN模型的卷积核对语义表征序列中的信息进行捕捉，输出不同任务的私有特征。
[0024]进一步地，所述将所述共有特征输入共性特征判别器，获取共有特征的任务来源，包括：
[0025]将所述共有特征输入共性特征判别器，所述共性特征判别器由两层全连接神经网络组成；
[0026]根据所述共性特征判别器对共有特征进行分类，得到共有特征的任务来源。
[0027]进一步地，所述将所述共有特征和所述私有特征进行融合，通过序列解码获取序列中每个位置的类别信息，完成信息抽取，包括：
[0028]将所述共有特征和所述私有特征进行特征融合，生成融合特征；
[0029]将融合特征通过CRF序列解码层对序列进行解码；
[0030]根据解码结果获取序列中每个位置的类别信息，完成信息抽取。
[0031]本专利技术的另一实施例提供了一种基于多任务迁移的信息抽取装置，装置包括：
[0032]编码模块，用于获取不同任务的文本，对文本进行编码，生成文本的语义表征序列；
[0033]共有特征抽取模块，用于将语义表征序列输入共性特征抽取网络，输出不同任务的共有特征；
[0034]私有特征抽取模块，用于将语义表征序列输入私有特征抽取网络，输出不同任务的私有特征；
[0035]解码模块，用于将所述共有特征和所述私有特征进行融合，通过序列解码获取序列中每个位置的类别信息，完成信息抽取。
[0036]本专利技术的另一实施例提供了一种电子设备，所述电子设备包括至少一个处理器；以及，
[0037]与所述至少一个处理器通信连接的存储器；其中，
[0038]所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一
个处理器执行，以使所述至少一个处理器能够执行上述的基于多任务迁移的信息抽取方法。
[0039]本专利技术的另一实施例还提供了一种非易失性计算机可读存储介质，所述非易失性计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个处理器执行时，可使得所述一个或多个处理器执行上述的基于多任务迁移的信息抽取方法。
[0040]有益效果：本专利技术实施例减少了中算法模型在特定信息抽取任务上对数据量的过度依赖；减少人工标注大量数据的人力和时间成本；提高了信息抽取效率。
附图说明
[0041]下面将结合附图及实施例对本专利技术作进一步说明，附图中：
[0042]图1为本专利技术一种基于多任务迁移的信息抽取方法较佳实施例的流程图；
[0043]图2为本专利技术一种基于多任务迁移的信息抽取方法较佳实施例的网络结构示意图；
[0044]图3为本专利技术一种基于多任务迁移的信息抽取装置的较佳实施例的功能模块示意图；
[0045]图4为本专利技术一种电子设备的较佳实施例的硬件结构示意图。
具体实施方式
[0046]为使本专利技术的目的、技术方案及效果更加清楚、明确，以下对本专利技术进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。
[0047]以下结合附图对本专利技术实施例进行介绍。
[0048]针对上述问题，本专利技术实施例提供了一种基于多任务迁移的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多任务迁移的信息抽取方法,其特征在于,所述方法包括：获取不同任务的文本，对文本进行编码，生成文本的语义表征序列；将语义表征序列输入共性特征抽取网络，输出不同任务的共有特征；将语义表征序列输入私有特征抽取网络，输出不同任务的私有特征；将所述共有特征和所述私有特征进行融合，通过序列解码获取序列中每个位置的类别信息，完成信息抽取。2.根据权利要求1所述的方法，其特征在于，所述将语义表征序列输入共性特征抽取网络，输出不同任务的共有特征后，包括：将所述共有特征输入共性特征判别器，获取共有特征的任务来源。3.根据权利要求2所述的方法，其特征在于，所述获取不同任务的文本，对文本进行编码，生成文本的语义表征序列，包括：获取来自于不同任务的文本，通过BERT预训练模型对文本进行编码；根据BERT预训练模型的编码结果，得到文本对应的语义表征序列。4.根据权利要求3所述的方法，其特征在于，所述将语义表征序列输入共性特征抽取网络，输出不同任务的共有特征，包括：将语义表征序列输入BiLSTM网络，获取BiLSTM网络的输出结果，所述输出结果为不同任务的共有特征。5.根据权利要求4所述的方法，其特征在于，所述将语义表征序列输入私有特征抽取网络，输出不同任务的私有特征，包括：将语义表征序列输入CNN模型，所述CNN模型采用不同大小的卷积核；根据CNN模型的卷积核对语义表征序列中的信息进行捕捉，输出不同任务的私有特征。6.根据权利要求5所述的方法，其特征在于，所述将所述共有特征输入共性特征判别器，获取共有特征的任务来源，包括：将所述共有特征输入共性特征判别器，所述共性特征判别器由两层全连接...

【专利技术属性】
技术研发人员：甘伟超，林远平，邹鸿岳，周靖宇，
申请(专利权)人：北京快确信息科技有限公司，
类型：发明
国别省市：