应答方法、装置、电子设备及存储介质制造方法及图纸

本公开提供了一种应答方法、装置、电子设备及存储介质，涉及人工智能技术领域，尤其涉及自然语言理解、深度学习等领域。具体实现方案为：响应于检测到输入信息包括至少两个数据类别的至少两个子信息，确定至少两个子信息的多模态特征；根据多模态特征，从问题库中确定第一候选问题集；确定至少两个子信息中的每个子信息对应的第二候选问题集；根据第一候选问题集和与每个子信息对应的第二候选问题集，确定目标问题；以及基于目标问题确定针对输入信息的答案。息的答案。息的答案。

【技术实现步骤摘要】
应答方法、装置、电子设备及存储介质


[0001]本公开涉及人工智能
，尤其涉及自然语言理解、深度学习等领域，更具体地，本公开提供了一种应答方法、装置、电子设备、存储介质以及计算机程序产品。

技术介绍

[0002]对于网盘云服务类、电商类、社交类、办公类等客服平台的智能客服，随着用户反馈渠道增多，智能客服的反馈界面呈现多样化形式，例如在用户反馈的一个问题中，用户可能想要通过图片、语音、文本等多种方式向智能客服提问。智能客服准确理解用户意图是解决用户诉求的先决条件，但是目前智能客服支持的输入信息种类有限，且智能客服对用户意图的理解准确性偏低。

技术实现思路

[0003]本公开提供了一种应答方法、装置、电子设备、存储介质以及计算机程序产品。
[0004]根据本公开的一方面，提供了一种应答方法，包括：响应于检测到输入信息包括至少两个数据类别的至少两个子信息，确定至少两个子信息的多模态特征；根据多模态特征，从问题库中确定第一候选问题集；确定至少两个子信息中的每个子信息对应的第二候选问题集；根据第一候选问题集和与每个子信息对应本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种应答方法，包括：响应于检测到输入信息包括至少两个数据类别的至少两个子信息，确定所述至少两个子信息的多模态特征；根据所述多模态特征，从问题库中确定第一候选问题集；确定所述至少两个子信息中的每个子信息对应的第二候选问题集；根据所述第一候选问题集和与所述每个子信息对应的第二候选问题集，确定目标问题；以及基于所述目标问题确定针对所述输入信息的答案。2.根据权利要求1所述的方法，其中，所述根据所述多模态特征，从问题库中确定第一候选问题集包括：根据所述多模态特征，确定与所述至少两个子信息相关联的问题类别；以及将所述问题库中与所述问题类别相对应的问题，添加至所述第一候选问题集。3.根据权利要求1所述的方法，其中，所述确定所述至少两个子信息中的每个子信息对应的第二候选问题集包括：响应于检测到所述至少两个子信息包括文本信息，确定所述文本信息的文本向量；以及根据所述文本向量和所述问题库中问题的问题向量之间的第一相似度，从所述问题库中确定与所述文本信息对应的第二候选问题集。4.根据权利要求1所述的方法，其中，所述确定所述至少两个子信息中的每个子信息对应的第二候选问题集包括：响应于检测到所述至少两个子信息包括音频信息，确定与所述音频信息对应的参考文本信息；确定所述参考文本信息的参考文本向量；以及根据所述参考文本向量和所述问题库中问题的问题向量之间的第二相似度，从所述问题库中确定与所述音频信息对应的第二候选问题集。5.根据权利要求1所述的方法，其中，所述确定所述至少两个子信息中的每个子信息对应的第二候选问题集包括：响应于检测到所述至少两个子信息包括图像信息，确定所述图像信息的图像类别；以及根据所述图像类别，从所述问题库中确定与所述图像信息相对应的第二候选问题集。6.根据权利要求1至5中任意一项所述的方法，其中，所述根据所述第一候选问题集和与所述每个子信息对应的第二候选问题集，确定目标问题包括：针对所述第一候选问题集和所述第二候选问题集中每个候选问题，根据针对所述候选问题的评价指标，确定所述候选问题的评价值；以及根据所述每个候选问题的评价值，确定所述目标问题。7.根据权利要求6所述的方法，其中，所述评价指标包括以下中的至少一个：基于所述多模态特征确定的问题类别的第一分类置信度，所述输入信息中图像信息的图像类别的第二分类置信度，基于所述输入信息中文本信息和所述候选问题确定的第一相似度，以及基于参考文本信息和所述候选问题确定的第二相似度，其中所述参考文本信息是根据所述输
入信息中的音频信息确定的。8.根据权利要求7所述的方法，其中，所述评价指标包括第一分类置信度、第二分类置信度、第一相似度和第二相似度；所述根据针对所述候选问题的评价指标，确定所述候选问题的评价值包括：针对所述候选问题，分别基于所述第一分类置信度、所述第二分类置信度、所述第一相似度和所述第二相似度，确定第一子评价值、第二子评价值、第三子评价值和第四子评价值；以及根据所述第一子评价值、所述第二子评价值、所述第三子评价值以及所述第四子评价值，确定所述候选问题的评价值。9.根据权利要求6所述的方法，其中，所述根据所述每个候选问题的评价值，确定所述目标问题包括：响应于检测到最大评价值大于等于第一阈值，将与所述最大评价值对应的候选问题，确定为所述目标问题；以及响应于检测到所述最大评价值小于所述第一阈值，根据评价值的排序，将预定数量个问题确定为所述目标问题。10.根据权利要求9所述的方法，还包括：响应于检测到所述预定数量个问题的评价值中包括小于等于第二阈值的评价值，且所述问题库中缺少所述输入信息表征的实际问题，将与所述实际问题相关的问题添加至所述问题库中；以及响应于检测到所述预定数量个问题的评价值中包括小于等于第二阈值的评价值，且所述问题库中包括所述输入信息表征的实际问题，执行以下操作中的至少一个：将与所述实际问题相关的问题添加至所述问题库中；根据所述至少两个子信息确定第一样本，以便利用所述第一样本训练第一深度学习模型，所述第一深度学习模型用于基于多模态特征确定问题类别；和根据所述输入信息中的图像信息确定第二样本，以便利用所述第二样本训练第二深度学习模型，所述第二深度学习模型用于基于所述输入信息中的图像信息确定图像类别。11.一种应答装置，包括：第一确定模块，用于响应于检测到输入信息包括至少两个数据类别的至少两个子信息，确定所述至少两个子信息的多模态特征；第二确定模块，用于根据所述多模态特征，从问题库中确定第一候选问题集；第三确定模块，用于确定所述至少两个子信息中的每个子信息对应的第二候选问题集；第四确定模块，用于根据所述第一候选问题集和与所述...

【专利技术属性】
技术研发人员：张学文，李睿，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：