一种自适应架构语义分布文本理解方法及系统技术方案

本发明专利技术涉及一种自适应架构语义分布文本理解方法及系统，该自适应架构语义分布文本理解系统包括的主要模块有文本基础编码器、语义关联关键分布表示模块、架构自适应分类网络模块。本发明专利技术利用语义关联关键分布表示模块中的上下文多头注意力语义分布表示，可以更好的利用上下文信息，消除上下文表述的歧义问题；同时通过关键信息多头注意力语义分布表示，可以提取关键词、短语等关键信息，解决细分领域关键信息对分类任务敏感的问题。而架构自适应分类网络模块，可根据分类类别的相近程度自适应的选择分类网络层，从而使相近的分类共用权重参数，分类类别相差较大的分类不共用权重，从而能更好的解决分类类别无法完全独立的问题。

【技术实现步骤摘要】
一种自适应架构语义分布文本理解方法及系统
本专利技术涉及自然语言文本分类处理领域，尤其涉及一种自适应架构语义分布文本理解方法及系统。
技术介绍
在信息爆炸的互联网时代，任何网站都需要处理大量的文本数据，对信息的归类和结构化处理是必不可少的，而人工手动处理已完全无法满足互联网时代的效率要求，作为自然语言处理的最基础任务——文本分类，显得重要且不可缺少。文本的自动分类能对大量的信息进行归纳与浓缩，进一步结构化文本信息，节省了人力和时间成本，提高对目标信息的关注度，从而提高信息的处理速度和决策效率。文本分类普遍的应用包括新闻的分类、评论的情感分类、对话的意图识别等方面。文本分类方法主要分为两大类，一是基于传统机器学习的方法，二是基于深度学习的方法。使用深度学习的方式进行文本分类是目前的优先选择，特别是在预训练语言模型盛行的时代。对于很多应用场景，不存在大量的标注语料，预训练模型，如BERT，Robert等，都能表现出不错的效果。然而，在细分领域，专有名称和短语等关键信息对分类任务的影响是非常大的，细分领域的标注语料却非常少，很难获取大批量数据来训练；而预训练模型虽然能通过通用领域大数据量的预训练来弥补这方面的不足，但通用领域的语料往往针对性不足，而这些关键信息对分类任务又是极度敏感的。所以预训练模型在这种情况下一般表现不好。另外，对于文本分类任务，很多时候是无法保证分类的类别之间是完全独立的情况，特别是根据业务场景定义的分类任务，往往都是有业务倾向的对问题文本的归类，选择性的忽略分类任务类别定义在算法上的独立性和等粒度性。比如意图识别问题，A意图和B意图比较相近，A意图和C意图却相差较大，但业务场景却希望同等重视这三个意图。在这种情况下，预训练等分类模型往往表现不佳。
技术实现思路
本专利技术正是针对上述问题，提出一种自适应架构语义分布文本理解方法及系统。为实现上述目的，本专利技术的具体技术方案如下：一种自适应架构语义分布文本理解方法，包括步骤：通过文本基础编码器模块对输入文本进行编码，获得文本特征表示；通过语义关联关键分布表示模块将所述文本特征表示进行多头注意力机制处理，形成所述文本特征表示的自注意力表示；通过架构自适应分类网络模块对所述文本特征表示的自注意力表示进行自动选择分类网络，实现最后的分类。本专利技术还提供一种自适应架构语义分布文本理解系统，包括：文本基础编码器模块、语义关联关键分布表示模块、架构自适应分类网络模块；所述文本基础编码器模块对输入文本进行编码，获得文本特征表示；所述语义关联关键分布表示模块将所述文本特征表示进行多头注意力机制处理，形成所述文本特征表示的自注意力表示；所述架构自适应分类网络模块对所述文本特征表示的自注意力表示进行自动选择分类网络，实现最后的分类。上述自适应架构语义分布文本理解方法及系统的技术方案中：优选地，所述文本基础编码器模块采用BERT预训练语言模型进行编码。优选地，所述语义关联关键分布表示模块包括上下文多头注意力语义分布表示和关键信息多头注意力语义分布表示。优选地，所述上下文多头注意力语义分布表示具体算法如下：其中，W1,W2,W3为线性矩阵，将h-2，h-1放缩到dk维，有：dh是h-2,h-1的维度，k表示多头数量；h-2,h-1表示提取BERT的最后2个隐藏层作为后续层级，设x＝[x1,x2,...xl]，l为文本长度，则：h-2,h-1＝BERT(x)。优选地，所述关键信息多头注意力语义分布表示具体算法如下：获取上下文注意力语义分布表示之后，进一步将该输出层进行自注意力加权计算得分，计算每个词相对于分类任务的权重α：W4T，b分别为自注意力加权网络的权重和偏置，取Topn个关键词的权重αt＝[α0,α1,,,αn]和对应的网络表示进行加权操作：则即是关键信息自注意力表示。多头注意力就是将以上的头结构复制k份，每个头结构一致，可学习的权重参数不同，最后，拼接k个头，形成多头注意力结果表示hatt；优选地，所述架构自适应分类网络模块根据分类类别的相近程度自适应的选择分类网络层，从而使相近的分类共用权重参数，分类类别相差较大的分类不共用权重，从而能更好的解决分类类别无法完全独立的问题。优选地，所述架构自适应分类网络模块是树结构，每个节点都有一个分裂路径网络和一个共用编码器及全连接网络，其中叶子节点只有共用编码器及全连接网络。优选地，所述分裂路径网络的分裂路径选择操作是一种MLP结构的自注意力机制，分裂路径选择网络会给出相近的权重，保留概率最大的那条路径，类别相近的分类共享同一路径的网络权重，进入同一分类器；对于分类类别相差较大的数据，网络提取的特征差别也较大，分裂路径选择网络倾向于给出不同的权重，选择不同的分裂路径。相比现有技术的文本理解，本专利技术解决的问题主要有以下两点：(1)在细分领域，专有名称和短语等关键信息对分类任务是极度敏感的，细分领域的标注语料却非常少，很难获取大批量数据来训练，预训练模型所采用的语料不具有针对性，因此模型表示学习能力差。(2)一般的分类任务类别之间相对独立，预训练模型往往表现不错，但是由于真实业务场景的限制，往往无法保证分类的类别之间是完全独立的情况，类别之间，在定义范围上粒度差别大，相似性也相差很大。在这种情况下，模型很容易错分，在数据量较小的情况下，容易导致模型效果差。为了解决以上问题，本专利技术使用上下文多头注意力语义分布表示，可以更好的利用上下文信息，消除上下文表述的歧义问题；结合关键信息多头自注意力语义分布表示，可以提取关键词、短语的信息，解决细分领域关键信息敏感问题。利用架构自适应分类网络模块，可根据分类类别的相近程度自适应的选择分类网络层，使相近的分类共用权重参数，分类类别相差较大的分类不共用权重。因此能更好的解决分类任务中类别无法完全的独立问题。附图说明图1是本专利技术中自适应架构语义分布文本理解方法的流程图；图2是本专利技术中语义关联关键分布表示模块结构图；图3是本专利技术中架构自适应分类网络模块结构图；图4是本专利技术中自适应架构语义分布文本理解系统的原理图。具体实施方式为了便于本领域的普通技术人员能够理解并实施本专利技术，下面将结合附图对本专利技术实施例作进一步说明。参考图1至图3，本专利技术提供一种自适应架构语义分布文本理解方法，包括步骤：S1、通过文本基础编码器模块对输入文本进行编码，获得文本特征表示；S2、通过语义关联关键分布表示模块将所述文本特征表示进行多头注意力机制处理，形成所述文本特征表示的自注意力表示；S3、通过架构自适应分类网络模块对所述文本特征表示的自注意力表示进行自动选择分类网络，实现最后的分类。其中，所述文本基础编码器模块主要是对原始文本的输入进行编码，采用了BERT预训练语言模本文档来自技高网...

【技术保护点】
1.一种自适应架构语义分布文本理解方法，其特征在于，包括步骤：/n通过文本基础编码器模块对输入文本进行编码，获得文本特征表示；/n通过语义关联关键分布表示模块将所述文本特征表示进行多头注意力机制处理，形成所述文本特征表示的自注意力表示；/n通过架构自适应分类网络模块对所述文本特征表示的自注意力表示进行自动选择分类网络，实现最后的分类。/n

【技术特征摘要】
1.一种自适应架构语义分布文本理解方法，其特征在于，包括步骤：
通过文本基础编码器模块对输入文本进行编码，获得文本特征表示；
通过语义关联关键分布表示模块将所述文本特征表示进行多头注意力机制处理，形成所述文本特征表示的自注意力表示；
通过架构自适应分类网络模块对所述文本特征表示的自注意力表示进行自动选择分类网络，实现最后的分类。


2.根据权利要求1所述的自适应架构语义分布文本理解方法，其特征在于，所述文本基础编码器模块采用BERT预训练语言模型进行编码。


3.根据权利要求1所述的自适应架构语义分布文本理解方法，其特征在于，所述语义关联关键分布表示模块包括上下文多头注意力语义分布表示和关键信息多头注意力语义分布表示。


4.根据权利要求3所述的自适应架构语义分布文本理解方法，其特征在于，所述上下文多头注意力语义分布表示具体算法如下：






其中，W1,W2,W3为线性矩阵，将h-2，h-1放缩到dk维，有：dh是h-2,h-1的维度，k表示多头数量；
h-2,h-1表示提取BERT的最后2个隐藏层作为后续层级，设x＝[x1,x2,...xl]，l为文本长度，则：
h-2,h-1＝BERT(x)。


5.根据权利要求4所述的自适应架构语义分布文本理解方法，其特征在于，所述关键信息多头注意力语义分布表示具体算法如下：
获取上下文注意力语义分布表示之后，进一步将该输出层进行自注意力加权计算得分，计算每个词相对于分类任务的权重α：



W4T，b分别为自注意力加权网络的权重和偏置，取Topn个关键词的权重αt＝[α0,α1,,,αn]和对应的网络表...

【专利技术属性】
技术研发人员：庞文君，杨猛，黄志青，
申请(专利权)人：前海企保科技深圳有限公司，
类型：发明
国别省市：广东;44