用于问答的方法、装置、设备和存储介质制造方法及图纸

本公开的实施例提供了用于问答的方法、装置、设备和存储介质。一种问答方法包括：响应于检测到问答发起操作，利用用户的设备捕获图像数据和针对图像数据的提问；从图像数据提取文本信息；获取与文本信息相关联的扩展信息；以及基于图像数据和扩展信息来确定针对提问的目标回答。以此方式，能够在多模态数据的问答场景中，引入知识库来扩展对提问的准确回答能力。由此，可以在图像数据不全、不足时也能够为用户提供即时、准确的问答服务。准确的问答服务。准确的问答服务。

【技术实现步骤摘要】
用于问答的方法、装置、设备和存储介质


[0001]本公开的示例实施例总体涉及计算机领域，特别地涉及用于问答的方法、装置、设备和计算机可读存储介质。

技术介绍

[0002]随着信息技术的飞速发展，越来越多的应用均提供问答功能，给广大用户带来了诸多便利。具有问答功能的应用可以基于用户输入的语音或文字输出对应的回答。具有多模态的视觉语言问答(Visual Question Answering，VQA)功能的应用还可以根据用户输入的图像，基于语音提问来输出针对该图像的回答音频。

技术实现思路

[0003]在本公开的第一方面，提供了一种问答方法。该方法包括：响应于检测到问答发起操作，利用用户的设备捕获图像数据和针对图像数据的提问；从图像数据提取文本信息；获取与文本信息相关联的扩展信息；以及基于图像数据和扩展信息来确定针对提问的目标回答。
[0004]在本公开的第二方面，提供了一种用于问答的装置。该装置包括：数据捕获模块，被配置为响应于检测到问答发起操作，利用用户的设备捕获图像数据和针对图像数据的提问；文本信息提取模块，被配置为从图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种问答方法，包括：响应于检测到问答发起操作，利用用户的设备捕获图像数据和针对所述图像数据的提问；从所述图像数据提取文本信息；获取与所述文本信息相关联的扩展信息；以及基于所述图像数据和所述扩展信息来确定针对所述提问的目标回答。2.根据权利要求1所述的方法，其中获取所述扩展信息包括：从所述文本信息确定至少一个关键词；以及从知识库取得与所述至少一个关键词相关联的所述扩展信息。3.根据权利要求2所述的方法，其中所述知识库包括对应多个领域的多个候选知识库，并且从所述知识库中取得所述扩展信息包括：确定所述图像数据或所述文本信息对应的目标领域；从所述多个候选知识库确定与所述目标领域对应的目标知识库；以及从所述目标知识库取得与所述至少一个关键词相关联的所述扩展信息。4.根据权利要求2所述的方法，其中所述知识库包括知识图谱。5.根据权利要求1所述的方法，其中获取所述扩展信息包括：确定从所述图像数据是否能够确定针对所述提问的目标回答；以及如果从所述图像数据无法确定针对所述提问的目标回答，获取所述扩展信息。6.根据权利要求1所述的方法，其中确定针对所述提问的目标回答包括：从所述图像数据确定针对所述提问的候选回答；以及基于所述扩展信息来执行针对所述候选回答的校正，得到所述目标回答，所述校正包括纠错和补全中的至少一项。7.根据权利要求1所述的方法，其中所述目标回答是利用经训练的问答模型来确定的，所述问答模型的模型输入包括所述图像数据和所述文本信息中的至少一项、所述扩展信息和所述提问。8.根据权利要求1所述的方法，其中所述提问包括以语音形式捕获的提问。9.一种用于问答的装置，包括：数据捕获模块，被配置为响应于检测到问答发起操作，利用用户的设备捕获图像数据和针对所述图像数据的提问；文本信息提取模块，被配置为从所述图像数据提取文本信息；扩展信息获取模块，被配置为获取与所述文本信息相关联的扩展信息；以及目标回答确定模块，被配置为基于所述图像数据和所述扩展信息来确定针对所述提问的目标回答。10.根据权利要求9所述的装...

【专利技术属性】
技术研发人员：潘俊文，郭少博，黄凯，
申请(专利权)人：北京有竹居网络技术有限公司，
类型：发明
国别省市：