口语理解方法、装置、电子设备、存储介质及产品制造方法及图纸

本发明专利技术提供一种口语理解方法、装置、电子设备、存储介质及产品，包括：获取待理解的语音信号；将所述语音信号输入训练好的口语理解模型，得到语音信号的语义信息；口语理解模型，包括：自动语音识别编码器，用于将语音信号的声学特征转换为声学表示；自动语音识别解码器，用于对声学表示进行文本转写，得到语音转写文本表示；融合模块，用于对声学表示和语音转写文本表示进行融合，得到联合表示；口语理解解码器，用于对联合表示进行语义预测，得到语义表示；输出层，用于基于语义表示，得到语音信号的语义信息，从而通过端到端的口语理解模型，可以直接从语音输入预测语义输出，减少错误传播问题，提高模型输出的语音信号的语义信息的准确率。

【技术实现步骤摘要】

本专利技术涉及人工智能，尤其涉及一种口语理解方法、装置、电子设备、存储介质及产品。

技术介绍

1、口语理解（spoken language understanding，slu）是指从用户的语音指令中提取语义信息，如领域、意图和实体名称。目前的slu系统通常采用级联方法，即先通过自动语音识别（automatic speech recognition，asr）系统将语音转换为文本，再通过自然语言理解（natural language understanding，nlu）系统提取文本的语义信息。

2、然而，这种方法存在asr错误的累积问题和语音中的声学信息被忽略的问题，即asr阶段的转换错误会被传递到nlu阶段，从而降低整个系统的总体性能，以及asr阶段通常只关注语音到文本的转换，可能会丢失对nlu有用的声学特征，如语调、强度等，这些特征可能对理解用户的情感态度或讲话意图非常重要，从而导致口语理解结果的准确率大大降低。

技术实现思路

1、本专利技术提供一种口语理解方法、装置、电子设备、存储介质及产品，用本文档来自技高网...

【技术保护点】

1.一种口语理解方法，其特征在于，包括：

2.根据权利要求1所述的口语理解方法，其特征在于，所述融合模块，包括：

3.根据权利要求1所述的口语理解方法，其特征在于，所述口语理解解码器，包括：

4.根据权利要求1所述的口语理解方法，其特征在于，所述口语理解模型通过以下方式训练得到：

5.根据权利要求4所述的口语理解方法，其特征在于，所述待训练口语理解模型中的融合模块，包括：

6.根据权利要求4所述的口语理解方法，其特征在于，所述待训练口语理解模型中的口语理解解码器，包括：

7.根据权利要求1-6任一项所述的口语理解方法...

【技术特征摘要】

1.一种口语理解方法，其特征在于，包括：

2.根据权利要求1所述的口语理解方法，其特征在于，所述融合模块，包括：

3.根据权利要求1所述的口语理解方法，其特征在于，所述口语理解解码器，包括：

4.根据权利要求1所述的口语理解方法，其特征在于，所述口语理解模型通过以下方式训练得到：

5.根据权利要求4所述的口语理解方法，其特征在于，所述待训练口语理解模型中的融合模块，包括：

6.根据权利要求4所述的口语理解方法，其特征在于，所述待训练口语理解模型中的口语理解解码器，包括：

7.根据权利要求1-6任一项所述的口语...

【专利技术属性】
技术研发人员：李康，赵江江，杨正哲，
申请(专利权)人：中移在线服务有限公司，
类型：发明
国别省市：