对话纠错方法、装置和电子设备制造方法及图纸

本申请提供一种对话纠错方法、装置和电子设备，通过字粒度语言模型对句子进行隐层加权处理，得到所述句子的隐层加权组合向量；之后，将所述句子的隐层加权组合向量进行语法诊断，得到所述句子的语法诊断结果，由于，本发明专利技术实施例的字粒度语言模型是使用大量无标注数据进行训练得到，其目的是为了用于增强标注数据较少的语法诊断模型的语法诊断正确性，这种学习训练字粒度语言模型可以有效地提升语法诊断模型的标注效果和泛化能力，并且在实际中具有可行性和易用性。

【技术实现步骤摘要】
对话纠错方法、装置和电子设备
本专利技术涉及对话纠错
，尤其涉及一种对话纠错方法、装置和电子设备。
技术介绍
随着互联网的发展，基于人工智能技术的虚拟机器人在企业用户服务领域的应用越来越广泛。机器人客服不需要休息，可以更加快速和标准化的响应用户的问题，以语音对话或文字聊天的形式与用户进行沟通，将人工客服从大量重复性问答中解放出来。在用户和客服机器人的对话场景中，例如，用户输入的句子可能包含语法错误，比如，输入的时候多打了字，也就是冗余，由于下游的对话、翻译模型基本是使用比较规范的语料训练的，这些语法的错误会对这些翻译模型产生很大的不良影响，比如重复冗余的输入，就会使得翻译模型重复翻译，大大影响翻译文本的可读性。为了提高用户和客服机器人的对话纠错性能，现有技术使用语法错误诊断模型提前发现这些错误，再根据模型判断的错误类型对句子进行重构，但是，由于现有的语法错误诊断模型只依赖人工标注的训练数据，而这些人工标注的训练数据数量比较少，使得现有的语法错误诊断模型的纠错性能和泛化能力大大降低。
技术实现思路
为了解决上述问题，本专利技术提供一种对话纠错方法、装置和电子设备，可以增强标注数据较少的语法诊断模型的语法诊断正确性。本申请提供一种对话纠错方法，包括：将句子输入到字粒度语言模型，得到所述句子的多层隐层表示；将所述句子的多层隐层表示进行加权组合，得到所述句子的隐层加权组合向量；将所述句子的隐层加权组合向量进行语法诊断，得到所述句子的语法诊断结果。>可选地，所述的方法，还包括：将所述句子的隐层加权组合向量输入到所述语法诊断模型，得到所述句子的上下文表示向量，对所述所述句子的上下文表示向量经过前向网络打分，计算得到最佳序列路径；根据所述最佳序列路径，反向还原得到所述句子的语法诊断结果。可选地，所述的方法，还包括：使用无标注文本数据训练所述字粒度语言模型，输出所述字粒度语言模型的中间隐层表示，所述中间隐层表示包括多层隐层表示；在保持所述字粒度语言模型的参数不更新时，使用标注的语法诊断数据训练所述中间隐层表示的加权组合参数和所述字粒度语言模型的参数。可选地，所述的方法，还包括：将所述句子表示为字的序列，对所述句子中的每个字，根据对映关系，经过字向量矩阵，得到所述句子的字向量序列；所述句子的字向量序列输入到所述字粒度语言模型，得到所述句子的多层的隐层表示。可选地，所述的方法，还包括：对所述句子的多层隐层表示进行隐层加权求和得到所述句子的隐层加权向量；对所述句子的多层隐层表示根据自注意力机制进行自注意力处理得到所述句子的自注意力向量；将所述句子的隐层加权向量和自注意力向量拼接得到所述句子的多层隐层表示的加权组合向量。本申请还提供一种对话纠错装置，包括：隐层处理模块，用于将句子输入到字粒度语言模型，得到所述句子的多层隐层表示；加权组合模块，用于将所述句子的多层隐层表示进行加权组合，得到所述句子的隐层加权组合向量；语法诊断模块，用于将所述句子的隐层加权组合向量进行语法诊断，得到所述句子的语法诊断结果。可选地，所述语法诊断模块具体用于：将所述句子的隐层加权组合向量输入到所述语法诊断模型，得到所述句子的上下文表示向量，对所述所述句子的上下文表示向量经过前向网络打分，计算得到最佳序列路径；根据所述最佳序列路径，反向还原得到所述句子的语法诊断结果。可选地，所述的装置，还包括：训练模块，用于使用无标注文本数据训练所述字粒度语言模型，输出所述字粒度语言模型的中间隐层表示，所述中间隐层表示包括多层隐层表示；在保持所述字粒度语言模型的参数不更新时，使用标注的语法诊断数据训练所述中间隐层表示的加权组合参数和所述字粒度语言模型的参数。可选地，所述隐层处理模块具体还用于：将所述句子表示为字的序列，对所述句子中的每个字，根据对映关系，经过字向量矩阵，得到所述句子的字向量序列；所述句子的字向量序列输入到所述字粒度语言模型，得到所述句子的多层的隐层表示。可选地，所述加权组合模块具体还用于：对所述句子的多层隐层表示进行隐层加权求和得到所述句子的隐层加权向量；对所述句子的多层隐层表示根据自注意力机制进行自注意力处理得到所述句子的自注意力向量；将所述句子的隐层加权向量和自注意力向量拼接得到所述句子的多层隐层表示的加权组合向量。本申请还提供一种电子设备，包括：存储器、处理器以及通信组件；所述存储器，用于存储计算机程序；所述处理器与所述存储器和通信组件耦合，用于执行计算机程序，以用于执行所述对话纠错的方法。本申请还提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被执行时能够实现所述对话纠错的方法。本专利技术实施例通过字粒度语言模型对句子进行隐层加权处理，得到所述句子的隐层加权组合向量；之后，将所述句子的隐层加权组合向量进行语法诊断，得到所述句子的语法诊断结果，由于，本专利技术实施例的字粒度语言模型是使用大量无标注数据进行训练得到，其目的是为了用于增强标注数据较少的语法诊断模型的语法诊断正确性，这种学习训练字粒度语言模型可以有效地提升语法诊断模型的标注效果和泛化能力，并且在实际中具有可行性和易用性。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术一实施例提供的对话纠错方法的流程示意图；图2为本专利技术实施例中步骤101具体实现方法示意图；图3为本专利技术一实施例提供的对话纠错装置的结构示意图；图4为本专利技术一实施例提供的电子设备的结构示意图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。在本专利技术实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本专利技术。在本专利技术实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义，“多种”一般包含至少两种，但是不排除包含至少一种的情况。应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。还需要说明的是，术语“包括”、本文档来自技高网...

【技术保护点】
1.一种对话纠错方法，包括：/n将句子输入到字粒度语言模型，得到所述句子的多层隐层表示；/n将所述句子的多层隐层表示进行加权组合，得到所述句子的隐层加权组合向量；/n将所述句子的隐层加权组合向量进行语法诊断，得到所述句子的语法诊断结果。/n

【技术特征摘要】
1.一种对话纠错方法，包括：
将句子输入到字粒度语言模型，得到所述句子的多层隐层表示；
将所述句子的多层隐层表示进行加权组合，得到所述句子的隐层加权组合向量；
将所述句子的隐层加权组合向量进行语法诊断，得到所述句子的语法诊断结果。


2.根据权利要求1所述的方法，还包括：
将所述句子的隐层加权组合向量输入到所述语法诊断模型，得到所述句子的上下文表示向量，对所述所述句子的上下文表示向量经过前向网络打分，计算得到最佳序列路径；
根据所述最佳序列路径，反向还原得到所述句子的语法诊断结果。


3.根据权利要求1所述的方法，还包括：
使用无标注文本数据训练所述字粒度语言模型，输出所述字粒度语言模型的中间隐层表示，所述中间隐层表示包括多层隐层表示；
在保持所述字粒度语言模型的参数不更新时，使用标注的语法诊断数据训练所述中间隐层表示的加权组合参数和所述字粒度语言模型的参数。


4.根据权利要求3所述的方法，还包括：
将所述句子表示为字的序列，对所述句子中的每个字，根据对映关系，经过字向量矩阵，得到所述句子的字向量序列；
所述句子的字向量序列输入到所述字粒度语言模型，得到所述句子的多层的隐层表示。


5.根据权利要求3所述的方法，还包括：
对所述句子的多层隐层表示进行隐层加权求和得到所述句子的隐层加权向量；
对所述句子的多层隐层表示根据自注意力机制进行自注意力处理得到所述句子的自注意力向量；
将所述句子的隐层加权向量和自注意力向量拼接得到所述句子的多层隐层表示的加权组合向量。


6.一种对话纠错装置，包括：
隐层处理模块，用于将句子输入到字粒度语言模型，得到所述句子的多层隐层表示；
加权组合模块，用于将所述句子的多层隐层表示进行加权组合，得到所述句子的隐层加权组合向量；
语法诊断模块，用...

【专利技术属性】
技术研发人员：包祖贻，李辰，刘恒友，李林琳，司罗，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：开曼群岛;KY