多模态对话状态处理方法、装置、介质及计算设备制造方法及图纸

本发明专利技术的实施方式提供了一种用于人机对话的多模态对话状态处理方法、装置、介质及计算设备。该方法包括：根据当前轮次的用户输入文本内容，获得当前轮次的用户文本特征；针对当前轮次要处理的至少一个属性类目中的每一个：对于该属性类目对应的每一种预设属性值，获得当前轮次的用户视觉特征和系统视觉特征；获得当前轮次的用户文本特征、用户视觉特征和系统视觉特征的结合特征，以基于结合特征，获得该属性类目在其对应的多种预设属性值上的概率分布。本发明专利技术的上述用于人机对话的多模态对话状态处理方法、装置、介质及计算设备，能够准确地理解多模态信息输入，并自适应地整合这些模态以进行对话状态的追踪。

【技术实现步骤摘要】
多模态对话状态处理方法、装置、介质及计算设备
本专利技术的实施方式涉及电子信息领域，更具体地，本专利技术的实施方式涉及一种用于人机对话的多模态对话状态处理方法、装置、介质及计算设备。
技术介绍
随着计算机以及互联网技术的发展，多模态对话系统越来越受到人们的重视，以更加自然和信息化的方式进行人机交互。其中，多模态对话系统中的多模态包括文本和视觉信息(如图像)两种模态。作为其核心组成部分之一，对话状态跟踪器在对话的每一步都与用户的目标相匹配，并提供了一种直接的方式来验证对话理解的能力。然而，现有的对话跟踪器技术主要局限于文本模态，这是不容易扩展到捕捉多模态系统中丰富的视觉信息的。
技术实现思路
在本上下文中，本专利技术的实施方式期望提供一种用于人机对话的多模态对话状态处理方法、装置、介质及计算设备，以至少解决现有的对话跟踪技术无法获得多模态系统中视觉信息、进而导致跟踪效果较差的问题。在本专利技术实施方式的第一方面中，提供了一种用于人机对话的多模态对话状态处理方法，所述人机对话包括用户与系统之间的多轮对话，所述人机对话的当前领域具有预设的多个属性类目，其中每个属性类目具有对应的多种预设属性值；所述多模态对话状态处理方法包括：根据当前轮次的用户输入文本内容，获得当前轮次的用户文本特征；针对当前轮次要处理的至少一个属性类目中的每一个：对于该属性类目对应的每一种预设属性值，确定当前轮次的用户输入图像内容中含有与该种预设属性值对应的内容的可能性分数，以获得当前轮次的用户视觉特征，以及确定当前轮次的系统输出图像内容中含有与该种预设属性值对应的内容的可能性分数，以获得当前轮次的系统视觉特征，以及获得当前轮次的用户文本特征、用户视觉特征和系统视觉特征的结合特征，以基于所述结合特征，获得该属性类目在其对应的多种预设属性值上的概率分布。进一步地，所述获得当前轮次的用户文本特征的步骤包括：获得当前轮次的用户输入文本内容的第一词向量，利用文本编码器对所述第一词向量进行编码，以获得对应的语义表示作为当前轮次的用户文本特征。进一步地，所述文本编码器采用RNN、CNN或MLP神经网络编码器模型。进一步地，所述确定当前轮次的用户输入图像内容中含有与该种预设属性值对应的内容的可能性分数的步骤包括：获得当前轮次的用户输入图像内容对应的多个第一子区域；针对所述多个第一子区域中的每一个，确定该第一子区域中含有与该种预设属性值对应的内容的第一可能性分数；以及基于所述多个第一子区域各自对应的第一可能性分数，获得当前轮次的用户输入图像内容含有与该种预设属性值对应的内容的可能性分数。进一步地，在所述获得当前轮次的用户输入图像内容含有与该种预设属性值对应的内容的可能性分数的过程中，将所述多个第一子区域对应的第一可能性分数中的最大值作为第一下限值，令所述当前轮次的用户输入图像内容含有与该种预设属性值对应的内容的可能性分数大于所述第一下限值、且小于1。进一步地，在所述多个第一子区域对应的第一可能性分数之中，当大于第一预设阈值的第一可能性分数的数量越多时，所述当前轮次的用户输入图像内容中含有与该种预设属性值对应的内容的可能性分数越高。进一步地，所述第一可能性分数基于利用LeNet、AlexNet、VGG或ResNet图像特征抽取算法得到的图像特征向量获得。进一步地，所述确定当前轮次的用户输入图像内容中含有与该种预设属性值对应的内容的可能性分数的步骤包括：在当前轮次的用户输入图像内容包括与该属性类目相关的至少一个第一属性值标签的情况下，根据该至少一个第一属性值标签与该种预设属性值之间的匹配程度来确定当前轮次的用户输入图像内容含有与该种预设属性值对应的内容的可能性分数。进一步地，所述确定当前轮次的系统输出图像内容中含有与该种预设属性值对应的内容的可能性分数的步骤包括：获得当前轮次的系统输出图像内容对应的多个第二子区域；针对所述多个第二子区域中的每一个，确定该第二子区域中含有与该种预设属性值对应的内容的第二可能性分数；以及基于所述多个第二子区域各自对应的第二可能性分数，获得当前轮次的系统输出图像内容含有与该种预设属性值对应的内容的可能性分数。进一步地，在所述获得当前轮次的系统输出图像内容含有与该种预设属性值对应的内容的可能性分数的过程中，将所述多个第二子区域对应的第二可能性分数中的最大值作为第二下限值，令所述当前轮次的系统输出图像内容含有与该种预设属性值对应的内容的可能性分数大于所述第二下限值、且小于1。进一步地，在所述多个第一子区域对应的第一可能性分数之中，当大于第一预设阈值的第一可能性分数的数量越多时，所述当前轮次的用户输入图像内容含有与该种预设属性值对应的内容的可能性分数越高。进一步地，所述第二可能性分数基于利用LeNet、AlexNet、VGG或ResNet图像特征抽取算法得到的图像特征向量获得。进一步地，所述确定当前轮次的系统输出图像内容中含有与该种预设属性值对应的内容的可能性分数的步骤包括：在当前轮次的系统输出图像内容包括与该属性类目相关的至少一个第二属性值标签的情况下，根据该至少一个第二属性值标签与该种预设属性值之间的匹配程度来确定当前轮次的系统输出图像内容含有与该种预设属性值对应的内容的可能性分数。进一步地，所述获得当前轮次的用户文本特征、用户视觉特征和系统视觉特征的结合特征的步骤包括：通过将当前轮次的用户文本特征、用户视觉特征和系统视觉特征投影至第一空间，获得第一投影矩阵；以及通过对所述第一投影矩阵的各分向量进行加权计算，获得当前轮次的用户文本特征、用户视觉特征和系统视觉特征的结合特征。进一步地，多模态对话状态处理方法还包括：获得当前轮次的系统文本特征；基于当前轮次的用户文本特征和系统文本特征，获得当前轮次对应的上下文特征；通过将当前轮次的用户文本特征、用户视觉特征和系统视觉特征投影至第二空间，获得第二投影矩阵；基于当前轮次的所述上下文特征和所述第二投影矩阵获得权重向量，其中，所述权重向量包括与所述第一投影矩阵的各分向量对应的多个权重。进一步地，所述基于当前轮次的所述上下文特征和所述第二投影矩阵获得权重向量的步骤包括：将当前轮次的所述上下文特征和所述第二投影矩阵输入设有第一softmax层的预定神经网络，以将所述第一softmax层的输出结果作为所述权重向量。进一步地，所述获得当前轮次的系统文本特征的步骤包括：获得当前轮次的系统输出文本内容的第二词向量，利用文本编码器对所述第二词向量进行编码，将获得的对应语义表示作为当前轮次的系统文本特征。进一步地，所述获得当前轮次对应的上下文特征的步骤包括：利用对上一轮次的上下文特征编码后的对话编码器，对当前轮次的用户文本特征和系统文本特征拼接后的串接特征进行编码，以将所述对话编码器的输出作为当前轮次对应的上下文特征。进一步地，所述对话编码器采用RNN、CNN或MLP神经网络编码器模型。进一步地，所述获得该属性类目在其对应的多种预设属性值上的概率分布的步骤包括：将所述结合特征输入预设的多层感知器，来获得该属性类目在其对应的多种预设属性值上的概率分布。进一步地，所述多层感知器后设有第二softmax层。根据本专利技术的另一方面，还提供了一种用于人机对话的多模态对话状态处理装置，所述人机对话包括用户与系统之间的多轮对话，所述人本文档来自技高网...

【技术保护点】
1.用于人机对话的多模态对话状态处理方法，所述人机对话包括用户与系统之间的多轮对话，其特征在于，所述人机对话的当前领域具有预设的多个属性类目，其中每个属性类目具有对应的多种预设属性值；所述多模态对话状态处理方法包括：根据当前轮次的用户输入文本内容，获得当前轮次的用户文本特征；针对当前轮次要处理的至少一个属性类目中的每一个：对于该属性类目对应的每一种预设属性值，确定当前轮次的用户输入图像内容中含有与该种预设属性值对应的内容的可能性分数，以获得当前轮次的用户视觉特征，以及确定当前轮次的系统输出图像内容中含有与该种预设属性值对应的内容的可能性分数，以获得当前轮次的系统视觉特征，以及获得当前轮次的用户文本特征、用户视觉特征和系统视觉特征的结合特征，以基于所述结合特征，获得该属性类目在其对应的多种预设属性值上的概率分布。

【技术特征摘要】
1.用于人机对话的多模态对话状态处理方法，所述人机对话包括用户与系统之间的多轮对话，其特征在于，所述人机对话的当前领域具有预设的多个属性类目，其中每个属性类目具有对应的多种预设属性值；所述多模态对话状态处理方法包括：根据当前轮次的用户输入文本内容，获得当前轮次的用户文本特征；针对当前轮次要处理的至少一个属性类目中的每一个：对于该属性类目对应的每一种预设属性值，确定当前轮次的用户输入图像内容中含有与该种预设属性值对应的内容的可能性分数，以获得当前轮次的用户视觉特征，以及确定当前轮次的系统输出图像内容中含有与该种预设属性值对应的内容的可能性分数，以获得当前轮次的系统视觉特征，以及获得当前轮次的用户文本特征、用户视觉特征和系统视觉特征的结合特征，以基于所述结合特征，获得该属性类目在其对应的多种预设属性值上的概率分布。2.根据权利要求1所述的用于人机对话的多模态对话状态处理方法，其特征在于，所述获得当前轮次的用户文本特征的步骤包括：获得当前轮次的用户输入文本内容的第一词向量，利用文本编码器对所述第一词向量进行编码，以获得对应的语义表示作为当前轮次的用户文本特征。3.根据权利要求1或2所述的用于人机对话的多模态对话状态处理方法，其特征在于，所述确定当前轮次的用户输入图像内容中含有与该种预设属性值对应的内容的可能性分数的步骤包括：获得当前轮次的用户输入图像内容对应的多个第一子区域；针对所述多个第一子区域中的每一个，确定该第一子区域中含有与该种预设属性值对应的内容的第一可能性分数；以及基于所述多个第一子区域各自对应的第一可能性分数，获得当前轮次的用户输入图像内容含有与该种预设属性值对应的内容的可能性分数。4.根据权利要求3所述的用于人机对话的多模态对话状态处理方法，其特征在于，在所述获得当前轮次的用户输入图像内容含有与该种预设属性值对应的内容的可能性分数的过程中，将所述多个第一子区域对应的第一可能性分数中的最大值作为第一下限值，令所述当前轮次的用户输入图像内容含有与该种预设属性值对应的内容的可能性分数大于所述第一下限值、且小于1。5.根据权利要求3或4所述的用于人机对话的多模态对话状态处理方法，其特征在于：在所述多个第一子区域对应的...

【专利技术属性】
技术研发人员：黄民烈，朱小燕，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京,11