中文口语语义理解方法及系统技术方案

本发明专利技术实施例提供一种中文口语语义理解方法。该方法包括：获取泛化的无标注文本序列训练集，依次对训练集进行正向预测、反向预测，训练字级别以及词级别的双向语言模型；接收用户输入的口语语音音频，进行序列分词，字序列以及词序列；分别使用字级别以及词级别的双向语言模型对字序列以及词序列解码，获得字级别以及词级别的隐层向量；对字序列和词序列的隐层向量进行向量对齐，得到语义理解模型输入的口语语音音频的隐层向量；将口语语音音频的隐层向量输入至语义理解模型，确定口语语音音频的语义。本发明专利技术实施例还提供一种中文口语语义理解系统。本发明专利技术实施例具有良好的泛化能力，将词、字序列相结合，提升了中文语义理解的性能。

Methods and systems of Chinese spoken semantic understanding

The embodiment of the invention provides a Chinese spoken language semantic understanding method. This method includes: acquiring the generalized training set of unlabeled text sequence, predicting the training set in forward and backward order, training the two-way language model of word level and word level; receiving the spoken voice audio input from users, segmenting the word sequence, word sequence and word sequence; using the two-way language model of word level and word level respectively to the word sequence and word sequence Decode to get the hidden layer vector of word level and word level; align the hidden layer vector of word sequence and word sequence to get the hidden layer vector of spoken audio input by semantic understanding model; input the hidden layer vector of spoken audio to semantic understanding model to determine the semantic of spoken audio. The embodiment of the invention also provides a Chinese spoken language semantic understanding system. The embodiment of the invention has good generalization ability, combines words and word sequences, and improves the performance of Chinese semantic understanding.

【技术实现步骤摘要】
中文口语语义理解方法及系统
本专利技术涉及智能语音交互领域，尤其涉及一种中文口语语义理解方法及系统。
技术介绍
语义理解在智能语音的交互中有着重要的作用，通常会使用以下几个方法来进行语义理解：1、基于深度学习、有监督学习的口语语义理解：需要在自然文本或者语音识别文本上进行人工的语义标注，结合深度神经网络模型，以数据驱动的方式训练语义理解模型。2、基于深度学习、有监督学习，结合预训练词向量的口语语义理解：需要在自然文本或者语音识别文本上进行人工的语义标注，同时使用外部预训练的词向量初始化输入层网络，训练语义理解模型。3、基于深度学习、半监督学习的口语语义理解：需要在自然文本或者语音识别文本上进行人工的语义标注，同时还有大量未标注的自然文本或者语音识别文本，然后结合半监督学习方法(比如伪标签学习、对抗训练等)训练语义理解模型。4、基于深度学习、多任务学习，利用语言模型和语义理解联合训练的口语语义理解：需要在自然文本或者语音识别文本上进行人工的语义标注，同时还有大量未标注的自然文本或者语音识别文本；利用有标签数据学习语义理解任务，利用无标签数据学习语言模型任务，同时两个任务的底层参数相互共享。5、英文自然语言处理领域，利用预训练语言模型作为输入的自然语言处理技术：利用大量未标注的自然文本训练一个双向语言模型，然后将改语言模型作为后端自然语言处理任务的输入层。在实现本专利技术过程中，专利技术人发现相关技术中至少存在如下问题：1、基于深度学习、有监督学习的口语语义理解：需要大量人工标注的数据，严重依赖数据量，且文本特征是有较大稀疏性的，这样训练出来的模型会有一定的过拟合现象和低泛化性。2、基于深度学习、有监督学习，结合预训练词向量的口语语义理解：相比于1，此方法利用的预训练词向量可以适当提高模型的泛化性且降低过拟合的现象，但词向量只能表现单个词的特性，对于句子(词序列)的泛化起到的作用非常有限。3、基于深度学习、半监督学习的口语语义理解：半监督学习依赖于大量高质量的未标注文本，但是很难获取大量高质量的未标注数据，尤其是在口语对话系统刚起步或者用户量不大的时候(口语语义理解理解作为口语对话系统的重要组成部分)。4、基于深度学习、多任务学习，利用语言模型和语义理解联合训练的口语语义理解：语言模型的训练数据是非常巨大的，深度学习的模型训练时间统一非常长。相比较而言语义理解的训练数据一般都非常小，所以为了语义理解任务而同时训练语言模型，时间和金钱的代价是非常大的。5、英文自然语言处理领域，利用预训练语言模型作为输入的自然语言处理技术：在中文自然语言处理中，尤其使用到中口语语义理解中，该模型结构没有考虑中文分词现象(且无法同时考虑字和词)，对于中文分词错误的鲁棒性较差。
技术实现思路
为了至少解决现有技术中需要大量人工标注的数据，词向量智能表现单个此的特性，对于句子的泛化起到的作用非常有限，并且依赖于大量高质量的未标注文本，语言模型的训练数据巨大，训练时间非常长，语言模型无法同时考虑字和词，对中文分词效果欠佳的问题。第一方面，本专利技术实施例提供一种中文口语语义理解方法，包括：获取泛化的无标注文本序列训练集，依次对所述训练集进行正向预测、反向预测，分别训练字级别的双向语言模型以及词级别的双向语言模型；接收用户输入的口语语音音频，对所述语音音频进行序列分词，得到所述语音音频的字序列以及词序列；分别使用字级别的双向语言模型以及词级别的双向语言模型对所述字序列以及词序列进行解码，获得字级别的隐层向量以及词级别的隐层向量；对所述字序列和词序列的隐层向量进行向量对齐，得到语义理解模型输入的口语语音音频的隐层向量；将所述口语语音音频的隐层向量输入至语义理解模型，确定所述口语语音音频的语义。第二方面，本专利技术实施例提供一种中文口语语义理解系统，包括：双向语言模型训练程序模块，用于获取泛化的无标注文本序列训练集，依次对所述训练集进行正向预测、反向预测，分别训练字级别的双向语言模型以及词级别的双向语言模型；序列确定程序模块，用于接收用户输入的口语语音音频，对所述语音音频进行序列分词，得到所述语音音频的字序列以及词序列；隐层向量确定程序模块，用于分别使用字级别的双向语言模型以及词级别的双向语言模型对所述字序列以及词序列进行解码，获得字级别的隐层向量以及词级别的隐层向量；向量对齐程序模块，用于对所述字序列和词序列的隐层向量进行向量对齐，得到语义理解模型输入的口语语音音频的隐层向量；语义理解程序模块，用于将所述口语语音音频的隐层向量输入至语义理解模型，确定所述口语语音音频的语义。第三方面，提供一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本专利技术任一实施例的中文口语语义理解方法的步骤。第四方面，本专利技术实施例提供一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现本专利技术任一实施例的中文口语语义理解方法的步骤。本专利技术实施例的有益效果在于：降低了中文语义理解任务对于标注数据的需求，从而减轻成本，但是更深层次的，由于海量无标注数据训练的语言模型提供了一个先验的文本信息编码器，所以语义理解模型可以仅依赖少量的有标注数据就可以对其它没有见过的句子具有良好的泛化能力，提升理解性能。此外，预训练好的语言模型不需要更新和微调，因此语义理解模型的训练时间不会暴增；针对中文语言，提出将字序列和词序列的编码特征对齐结合的思路，继续提升了中文语义理解的性能，因为字序列可以避免分词错误，而词序列包含更丰富的语义信息。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术一实施例提供的一种中文口语语义理解方法的流程图；图2是本专利技术一实施例提供的一种中文口语语义理解系统的结构示意图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。如图1所示为本专利技术一实施例提供的一种中文口语语义理解方法的流程图，包括如下步骤：S11：获取泛化的无标注文本序列训练集，依次对所述训练集进行正向预测、反向预测，分别训练字级别的双向语言模型以及词级别的双向语言模型；S12：接收用户输入的口语语音音频，对所述语本文档来自技高网...

【技术保护点】
1.一种中文口语语义理解方法，包括：/n获取泛化的无标注文本序列训练集，依次对所述训练集进行正向预测、反向预测，分别训练字级别的双向语言模型以及词级别的双向语言模型；/n接收用户输入的口语语音音频，对所述语音音频进行序列分词，得到所述语音音频的字序列以及词序列；/n分别使用字级别的双向语言模型以及词级别的双向语言模型对所述字序列以及词序列进行解码，获得字级别的隐层向量以及词级别的隐层向量；/n对所述字序列和词序列的隐层向量进行向量对齐，得到语义理解模型输入的口语语音音频的隐层向量；/n将所述口语语音音频的隐层向量输入至语义理解模型，确定所述口语语音音频的语义。/n

【技术特征摘要】
1.一种中文口语语义理解方法，包括：
获取泛化的无标注文本序列训练集，依次对所述训练集进行正向预测、反向预测，分别训练字级别的双向语言模型以及词级别的双向语言模型；
接收用户输入的口语语音音频，对所述语音音频进行序列分词，得到所述语音音频的字序列以及词序列；
分别使用字级别的双向语言模型以及词级别的双向语言模型对所述字序列以及词序列进行解码，获得字级别的隐层向量以及词级别的隐层向量；
对所述字序列和词序列的隐层向量进行向量对齐，得到语义理解模型输入的口语语音音频的隐层向量；
将所述口语语音音频的隐层向量输入至语义理解模型，确定所述口语语音音频的语义。


2.根据权利要求1所述的方法，其中，所述对所述字序列和词序列的隐层向量进行向量对齐包括：
通过分词定律，将词级别的隐层向量进行复制，使得词级别的隐层向量的个数和所述字级别的隐层向量一样多；
将分词后的两个向量进行序列对齐，将对齐后的两个向量一一拼接，确定语义理解模型输入的口语语音音频的隐层向量。


3.根据权利要求1所述的方法，其中，所述将所述口语语音音频的隐层向量输入至语义理解模型包括：
基于所述语音音频的隐层向量对应的特征序列进行领域分类；
分别预测所述语音音频中每个字对应隐向量的语义槽类别；
根据所述领域分类以及所述语义槽类别确定所述语音音频的语义。


4.根据权利要求1所述的方法，其中，所述依次对所述训练集进行正向预测、反向预测，分别训练字级别的双向语言模型以及词级别的双向语言模型包括：
采用单向长短时记忆网络模型依次对所述训练集进行正向预测、反向预测。


5.根据权利要求1所述的方法，其中，所述依次对所述训练集进行正向预测、反向预测，分别训练字级别的双向语言模型以及词级别的双向语言模型还包括：
采用基于转换器的双向语言编码模型依次对所述训练集进行正向预测、反向预测。


6.一种中文口语语义理...

【专利技术属性】
技术研发人员：朱苏，徐华，俞凯，张瑜，
申请(专利权)人：苏州思必驰信息科技有限公司，
类型：发明
国别省市：江苏;32