特征编码方法、装置、电子设备及可读存储介质制造方法及图纸

本发明专利技术实施例提供一种特征编码方法、装置、电子设备及可读存储介质，获取待分析语句；将所述待分析语句输入至预先训练好的特征编码模型中，获得所述特征编码模型输出的特征编码结果；所述特征编码模型为注意力模块和训练好的生成对抗网络模型中的编码模块共同训练所得到。本发明专利技术实施例中的特征编码方法利用注意力模块和训练好的生成对抗网络模型中的编码模块共同训练特征编码模型，提高了特征编码模型的鲁棒性。

Feature coding method, device, electronic equipment and readable storage medium

【技术实现步骤摘要】
特征编码方法、装置、电子设备及可读存储介质
本专利技术涉及自然语言处理领域，尤其涉及一种特征编码方法、装置、电子设备及可读存储介质。
技术介绍
语义理解是自然语言处理领域的重要问题之一，其任务是将自然语言解析为结构化、机器可读的表征语义信息的特征编码。特征编码模型的鲁棒性是语义理解领域不可规避的问题，其衡量的是特征编码模型的抗噪能力。当对输出语句的内容进行扰动后，特征编码模型抽取的语句关键特征会存在不准确的问题，导致机器不能理解语句的真实语义。加强特征编码模型的抗噪能力需要使用大量加噪语句作为训练样本来训练特征编码模型。现有技术中获取加噪语句主要有基于规则的加噪方法和基于回译的加噪方法。然而，前者无法保证噪声的覆盖率，后者则强依赖于翻译器的效果。另外，这两种方法所生成的加噪语句可能会改变原始语句的含义，导致用噪声语句训练的特征编码模型在准确理解语句的真实含义方面效果不佳。
技术实现思路
本专利技术实施例提供一种特征编码处理方法、装置、电子设备及可读存储介质，用以解决现有技术中特征编码方法准确性较低、鲁棒性不强的问题。第一方面，本专利技术实施例提供一种语义理解处理方法，包括：获取待分析语句；将所述待分析语句输入至预先训练好的特征编码模型中，获得所述特征编码模型输出的特征编码结果；所述特征编码模型为基于注意力模块和训练好的生成对抗网络模型中的编码模块共同训练所得到。优选地，其中所述生成对抗网络模型为以语句样本对为训练样本，以与所述语句样本对对应的用于表征加噪类型的加噪向量为样本标签训练得到；所述基于注意力的特征编码模型为以所述语句样本对为训练样本训练得到；所述语句样本对包括原始语句和加噪语句，所述加噪语句为对所述原始语句进行加噪得到。优选地，所述生成对抗网络模型包括编码模块和判别模块，所述生成对抗网络模型通过如下方式训练得到：将语句样本对中的原始语句和加噪语句分别进行向量化处理，得到原始语句向量和加噪语句向量；将原始语句向量和加噪语句向量分别输入编码模块，得到所述编码模块输出的与原始语句向量和加噪语句向量分别对应的原始第一特征和加噪第一特征；将所述原始第一特征和所述加噪第一特征分别输入判别模块，得到所述判别模块输出的所述原始第一特征对应的预测标签和所述加噪第一特征对应的预测标签；以所述加噪第一特征对应的预测标签以及所述原始第一特征对应的预测标签均趋近于原始语句的样本标签为目标，对所述生成对抗网络模型的参数进行更新。优选地，所述特征编码模型通过以下方式训练得到：将所述生成对抗网络模型训练完成后，将语句样本对中的原始语句和加噪语句分别进行向量化处理，得到原始语句向量和加噪语句向量；将原始语句向量和加噪语句向量输入训练好的生成对抗网络模型中的编码模块，得到该编码模块输出的与原始语句向量和加噪语句向量分别对应的原始第二特征和加噪第二特征；将原始第二特征和加噪第二特征分别输入注意力模块，得到所述注意力模块输出的与所述原始第二特征和所述加噪第二特征分别对应的原始关键特征和加噪关键特征；以所述加噪关键特征趋近于原始关键特征为目标，对所述注意力模块和所述编码模块的参数进行更新，直到满足预设收敛条件，将所得的编码模块作为训练好的特征编码模型。优选地，所述对所述原始语句进行加噪的方法包括：对原始语句中的词进行随机调换顺序、对原始语句中的词进行随机删除、向原始语句中随机插入词、对原始语句中的字进行随机重复或者基于回译的加噪方法对原始语句进行加噪。优选地，根据所述特征编码结果确定所述待分析语句的语义。第二方面，本专利技术实施例提供一种语义理解处理装置，包括：语句获取单元，用于获取待分析语句；特征编码单元，用于将所述待分析语句输入至预先训练好的特征编码模型中，获得所述特征编码模型输出的特征编码结果；所述特征编码模型为基于注意力模块和训练好的生成对抗网络模型中的编码模块共同训练所得到。第三方面，本专利技术实施例提供一种语义理解处理设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面所提供的方法的步骤。第四方面，本专利技术实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面所提供的方法的步骤。本专利技术实施例提供的特征编码处理方法、装置、电子设备及可读存储介质，利用注意力模块和训练好的生成对抗网络模型中的编码模块共同训练特征编码模型，提高了特征编码模型的鲁棒性。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术特征编码方法实施例流程图；图2为本专利技术特征编码方法另一实施例流程图；图3为本专利技术特征编码方法另一实施例流程图；图4为本专利技术特征编码装置实施例结构示意图；图5为本专利技术电子设备实施例结构示意图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。在本专利技术的一个实施例中，提供一种特征编码方法，详细结合附图1进行说明，特征编码方法包括：S100、获取待分析语句。具体地，本步骤可以直接获取文本形式的待分析语句，也可以根据外部输入的语音数据经过语音识别方法翻译得到文本形式的待分析语句。待分析语句可以通过终端设备进行采集，终端设备可以是手机、个人电脑、平板电脑等设备。如果待分析语句直接以文本形式获取，可以通过终端设备上的文字输入装置采集；如果待分析语句是由语音数据经过语音识别方法翻译得到，该语音数据可以经过终端设备上的麦克风采集，并由终端设备中内置的语音识别模块进行翻译。S200、将所述待分析语句输入至预先训练好的特征编码模型中，获得所述特征编码模型输出的特征编码结果。具体地，所述特征编码模型为注意力模块和训练好的生成对抗网络模型中的编码模块共同训练所得到。具体地，本实施例中提到的特征编码模型可以由注意力模块和编码模块共同构成，即注意力模块和编码模块可以分别为特征编码模型中的一个部分。相应地，在训练该特征编码模型时，所输入该模型的训练样本需要由注意力模块和编码模块相应的功能分别处理，获得对应的训练结果；而在应用该特征编码模型时，输入该模型的待分析语句可以由注意力模块和编码模块相应的分别处理，即先经编码模块初步编码得到编码特征，再经由注意力模块从该编码特征中提取本文档来自技高网...

【技术保护点】
1.一种特征编码方法，其特征在于，包括：/n获取待分析语句；/n将所述待分析语句输入至预先训练好的特征编码模型中，获得所述特征编码模型输出的特征编码结果；/n所述特征编码模型为注意力模块和训练好的生成对抗网络模型中的编码模块共同训练所得到。/n

【技术特征摘要】
1.一种特征编码方法，其特征在于，包括：
获取待分析语句；
将所述待分析语句输入至预先训练好的特征编码模型中，获得所述特征编码模型输出的特征编码结果；
所述特征编码模型为注意力模块和训练好的生成对抗网络模型中的编码模块共同训练所得到。


2.根据权利要求1所述的语义理解处理方法，其特征在于，所述生成对抗网络模型为以语句样本对为训练样本，以与所述语句样本对对应的用于表征加噪类型的加噪向量为样本标签训练得到；所述特征编码模型为以所述语句样本对为训练样本训练得到；所述语句样本对包括原始语句和加噪语句，所述加噪语句为对所述原始语句进行加噪得到。


3.根据权利要求2所述的语义理解处理方法，其特征在于，所述生成对抗网络模型包括编码模块和判别模块，所述生成对抗网络模型通过如下方式训练得到：
将语句样本对中的原始语句和加噪语句分别进行向量化处理，得到原始语句向量和加噪语句向量；
将原始语句向量和加噪语句向量分别输入编码模块，得到所述编码模块输出的与原始语句向量和加噪语句向量分别对应的原始第一特征和加噪第一特征；
将所述原始第一特征和所述加噪第一特征分别输入判别模块，得到所述判别模块输出的所述原始第一特征对应的预测标签和所述加噪第一特征对应的预测标签；
以所述加噪第一特征对应的预测标签以及所述原始第一特征对应的预测标签均趋近于原始语句的样本标签为目标，对所述生成对抗网络模型的参数进行更新。


4.根据权利要求2所述的语义理解处理方法，其特征在于，所述特征编码模型通过以下方式训练得到：
将所述生成对抗网络模型训练完成后，将语句样本对中的原始语句和加噪语句分别进行向量化处理，得到原始语句向量和加噪语句向量；
将原始语句向量和加噪语句向量分别输入...

【专利技术属性】
技术研发人员：戴瑾，胡加学，赵乾，宋时德，
申请(专利权)人：科大讯飞股份有限公司，
类型：发明
国别省市：安徽;34