一种基于神经网络的意图识别方法及装置、终端设备制造方法及图纸

本发明专利技术公开了基于神经网络的意图识别方法及装置、终端设备；其中意图识别方法包括：采集用户语音信息；将语音信息转换为第一文本信息；将第一文本信息输入语义残缺识别模型，判定出第一文本信息是否语义残缺；当识别出第一文本信息的语义残缺时，采集用户指示图像；将指示图像输入到图片理解模型中，输出指示图像对应的描述信息；根据描述信息填充第一文本信息，获得第二文本信息；将第二文本信息输入语义残缺识别模型，判定第二文本信息的语义是否残缺；当第二文本信息的语义不残缺时，根据第二文本信息获得用户真实意图。通过本发明专利技术，即使用户语音无法表达完整意图，也可以基于神经网络技术，获取意图相关方面的信息，从而获得用户真实意图。

A method of intention recognition based on neural network and its device and terminal equipment

【技术实现步骤摘要】
一种基于神经网络的意图识别方法及装置、终端设备
本专利技术涉及意图识别领域，尤其涉及一种基于神经网络的意图识别方法及装置、终端设备。
技术介绍
随着互联网的快速发展，各种智能产品在人们的生活中发挥着越来越重要的作用，人们也越来越习惯地使用智能终端完成各种需求。而且随着人工智能相关技术的日益成熟，各类终端的智能化程度也越来越高。语音交互作为智能终端中人机交互主流的交流应用之一，也是越来越受到用户的青睐。目前，市场上很多适合中小学生学习使用的终端设备，比如学习机、家教机等，这些终端设备基于用户输入的语音进行识别，然后给予相应的回馈。因此用户通过智能语音设备所输入的语音的准确性严重影响着智能终端所作出的反馈。而对于低年级的小孩而言，低年级小学生的作业会涉及到很多图片形式的题目，例如：看图写字、看图说话等。低年级小学生可能无法用完整的语音来表述该图片信息，表达其真实意图，从而使终端设备的使用受到限制。
技术实现思路
本专利技术提供一种基于神经网络的意图识别方法及装置、终端设备，用以解决实际操作中单通过语音信息无法完整获知用户真实意图的技术问题。具体的，本专利技术的技术方案如下：第一方面，本专利技术公开了一种基于神经网络的意图识别方法，包括：采集用户语音信息；将所述语音信息转换为第一文本信息；将所述第一文本信息输入语义残缺识别模型，判定出所述第一文本信息是否语义残缺；当识别出所述第一文本信息的语义残缺时，采集用户指示图像；将所述指示图像输入到图片理解模型中，输出所述指示图像对应的描述信息；根据所述描述信息填充所述第一文本信息，获得第二文本信息；将所述第二文本信息输入所述语义残缺识别模型，判定所述第二文本信息的语义是否残缺；当所述第二文本信息的语义不残缺时，根据所述第二文本信息获得所述用户真实意图。优选的，所述基于神经网络的意图识别方法还包括：当判定所述第二文本信息的语义残缺时，采集所述指示图像的上下文信息；根据所述指示图像的上下文信息，结合所述第二文本信息，获得所述用户真实意图。优选的，所述基于神经网络的意图识别方法还包括：当判定所述第二文本信息的语义残缺时，采集所述用户当前的学习情境信息；根据所述用户当前的学习情境信息，结合所述第二文本信息，获得所述用户真实意图。优选地，在采集用户语音之前还包括：利用神经网络技术，通过标记过的语义残缺训练样本进行自学习，获得语义残缺识别模型；利用神经网络技术，通过标记过的图像描述训练样本进行自学习，获得图像理解模型。优选地，将所述指示图像输入到图片理解模型中，输出所述指示图像对应的描述信息包括：通过深度卷积网络获得所述指示图像的高层语义信息；递归神经网络将所述指示图像的高层语义信息转换为所述指示图像自然语言描述。第二方面，本专利技术还公开了一种基于神经网络的意图识别装置，包括：语音采集模块，用于采集用户语音信息；语音转换模块，用于将所述语音信息转换为第一文本信息；残缺识别模块，用于将所述第一文本信息输入语义残缺识别模型，识别出所述第一文本信息是否语义残缺；图像采集模块，用于当识别出所述第一文本信息的语义残缺时，采集用户指示图像；图像理解模块，用于将所述指示图像输入到图片理解模型中，输出所述指示图像对应的描述信息；信息填充模块，用于根据所述描述信息填充所述第一文本信息，获得第二文本信息；所述残缺识别模块，还用于将所述第二文本信息输入所述语义残缺识别模型，判定所述第二文本信息的语义是否残缺；意图理解模块，用于当所述第二文本信息的语义不残缺时，根据所述第二文本信息获得所述用户真实意图。优选地，所述基于神经网络的意图识别装置还包括：信息采集模块，用于当判定所述第二文本信息的语义残缺时，采集所述指示图像的上下文信息和/或所述用户当前的学习情境信息；所述意图理解模块，还用于根据所述指示图像的上下文信息，结合所述第二文本信息和/或所述用户当前的学习情境信息，获得所述用户真实意图。优选地，所述基于神经网络的意图识别装置还包括：残缺识别学习模块，用于利用神经网络技术，通过标记过的语义残缺训练样本进行自学习，获得语义残缺识别模型；图像理解学习模块，用于利用神经网络技术，通过标记过的图像描述训练样本进行自学习，获得图像理解模型。优选地，所述基于神经网络的意图识别装置中的图像理解模块包括：高层语义获取子模块，用于通过深度卷积网络获得所述指示图像的高层语义信息；自然语言处理子模块，用于通过递归神经网络，将所述指示图像的高层语义信息转换为所述指示图像自然语言描述。第三方面，本专利技术还公开了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器运行所述计算机程序时实现如上任一项所述基于神经网络的意图识别方法的步骤。本专利技术至少具备以下一项有益效果：(1)本专利技术在语音信息无法获知用户真实意图的情况下，结合图像信息进行语义理解，获得用户真实意图。其中，采用了训练好的语义残缺识别模型和图片理解模型，从而能快速而准确的识别输出，人工智能化程度高，克服了语音设备使用受限的问题。(2)本专利技术在根据用户语音信息、图像信息还是无法获得用户意图的情况下，还进一步采集指示图像的上下文信息、和/或用户当前学习情境信息(视情况而定)，从而确定用户真实意图，进而便于给出正确反馈。(3)本专利技术的图像理解模型，不同于传统的图像识别模型只能简单的识别出图像中的物体，本专利技术中的图像理解模型除了可以识别出图像中的物体外，还可以识别出各物体之间、各物体与环境之间的关系，甚至各物体的行为等情况，基于此，再对其进行自然语言处理，输出符合人类表达方式的自然语言描述，具备“看图说话”功能，提高了用户体验。附图说明为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术基于神经网络的意图识别方法的实施例的流程图；图2为本专利技术基于神经网络的意图识别方法的另一实施例的流程图；图3为本专利技术基于神经网络的意图识别装置的实施例的结构框图；图4为本专利技术基于神经网络的意图识别装置的另一实施例的结构框图；图5为本专利技术终端设备一个实施例的结构框图。附图标记：10--语音采集模块；20--语音转换模块；30--残缺识别模块；40--图像采集模块；50--图像理解模块；60--信息填充模块；70--意图理解模块；80--信息采集模块；90--残缺识别学习模块；100-图像理解学习模块；51--高层语义获取子模块；52--自然语言处理子模块；200--存储器；210--计算机程序；300--处理器。具体实施方式以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体本文档来自技高网...

【技术保护点】
1.一种基于神经网络的意图识别方法，其特征在于，包括：/n采集用户语音信息；/n将所述语音信息转换为第一文本信息；/n将所述第一文本信息输入语义残缺识别模型，判定出所述第一文本信息是否语义残缺；/n当识别出所述第一文本信息的语义残缺时，采集用户指示图像；/n将所述指示图像输入到图片理解模型中，输出所述指示图像对应的描述信息；/n根据所述描述信息填充所述第一文本信息，获得第二文本信息；/n将所述第二文本信息输入所述语义残缺识别模型，判定所述第二文本信息的语义是否残缺；/n当所述第二文本信息的语义不残缺时，根据所述第二文本信息获得所述用户真实意图。/n

【技术特征摘要】
1.一种基于神经网络的意图识别方法，其特征在于，包括：
采集用户语音信息；
将所述语音信息转换为第一文本信息；
将所述第一文本信息输入语义残缺识别模型，判定出所述第一文本信息是否语义残缺；
当识别出所述第一文本信息的语义残缺时，采集用户指示图像；
将所述指示图像输入到图片理解模型中，输出所述指示图像对应的描述信息；
根据所述描述信息填充所述第一文本信息，获得第二文本信息；
将所述第二文本信息输入所述语义残缺识别模型，判定所述第二文本信息的语义是否残缺；
当所述第二文本信息的语义不残缺时，根据所述第二文本信息获得所述用户真实意图。


2.根据权利要求1所述的一种基于神经网络的意图识别方法，其特征在于，还包括：
当判定所述第二文本信息的语义残缺时，采集所述指示图像的上下文信息；
根据所述指示图像的上下文信息，结合所述第二文本信息，获得所述用户真实意图。


3.根据权利要求1所述的一种基于神经网络的意图识别方法，其特征在于，还包括：
当判定所述第二文本信息的语义残缺时，采集所述用户当前的学习情境信息；
根据所述用户当前的学习情境信息，结合所述第二文本信息，获得所述用户真实意图。


4.根据权利要求1所述的一种基于神经网络的意图识别方法，其特征在于，在采集用户语音之前还包括：
利用神经网络技术，通过标记过的语义残缺训练样本进行自学习，获得语义残缺识别模型；
利用神经网络技术，通过标记过的图像描述训练样本进行自学习，获得图像理解模型。


5.根据权利要求1-4任一项所述的一种基于神经网络的意图识别方法，其特征在于，将所述指示图像输入到图片理解模型中，输出所述指示图像对应的描述信息包括：
通过深度卷积网络获得所述指示图像的高层语义信息；
递归神经网络将所述指示图像的高层语义信息转换为所述指示图像自然语言描述。


6.一种基于神经网络的意图识别装置，其特征在于，包括：
语音采集模块，用于采集用户语音信息；
语音转换...

【专利技术属性】
技术研发人员：李选洪，
申请(专利权)人：广东小天才科技有限公司，
类型：发明
国别省市：广东;44