问答系统、方法、电子设备及存储介质技术方案

本申请实施例提供了一种问答系统、方法、电子设备及计算机可读存储介质，涉及人工智能技术领域。问答系统包括：预处理模块，用于获取待处理图像以及与待处理图像相关的自然语言问题，并确定待处理图像的图像信息；知识检索模块，用于根据图像信息、自然语言问题以及知识库，确定目标知识，知识库包括：结构化数据和非结构化数据；阅读理解模块，用于如果目标知识为非结构化数据，通过第一神经网络模型对自然语言问题、图像信息以及目标知识进行处理，得到自然语言问题对应的答案；以及如果目标知识为结构化数据，通过第二神经网络模型对自然语言问题、图像信息以及目标知识进行处理，得到自然语言问题对应的答案。本申请可以提高问答的准确性。答的准确性。答的准确性。

【技术实现步骤摘要】
问答系统、方法、电子设备及存储介质


[0001]本申请实施例涉及人工智能
，尤其涉及一种问答系统、问答方法、电子设备及计算机可读存储介质。

技术介绍

[0002]随着计算机视觉技术以及自然语言处理技术的不断发展，使得研究领域变得越来越深入。其中，在视觉问答领域，可以将图像和关于图像的自然语言问题作为输入，并将与图像一致的自然语言答案作为输出，因此可以适用于智能问答。相关技术中，对于具有专业领域的问题，问答效果较好，但因泛化能力较差，对于某些领域的问题如生活方面的问题，问答效果较差。

技术实现思路

[0003]本申请的目的在于提出一种问答系统、问答方法、电子设备及计算机可读存储介质，用于解决现有技术中存在的对于某些领域的问题问答效果较差的技术问题。
[0004]根据本申请实施例的第一方面，提供了一种问答系统，包括：
[0005]预处理模块，用于获取待处理图像以及与所述待处理图像相关的自然语言问题，并确定所述待处理图像的图像信息；
[0006]知识检索模块，用于根据所述图像信息、所述自然语言问题以及知识库，确定目标知识，其中，所述知识库包括：结构化数据和非结构化数据；
[0007]阅读理解模块，用于如果所述目标知识为非结构化数据，通过第一神经网络模型对所述自然语言问题、所述图像信息以及所述目标知识进行处理，得到所述自然语言问题对应的答案；以及
[0008]如果所述目标知识为结构化数据，通过第二神经网络模型对所述自然语言问题、所述图像信息以及所述目标知识进行处理，得到所述自然语言问题对应的答案。
[0009]根据本申请实施例的第二方面，提供了一种问答方法，包括：
[0010]获取待处理图像以及与所述待处理图像相关的自然语言问题，并确定所述待处理图像的图像信息；
[0011]根据所述图像信息、所述自然语言问题以及知识库，确定目标知识，其中，所述知识库包括：结构化数据和非结构化数据；
[0012]如果所述目标知识为非结构化数据，通过第一神经网络模型对所述自然语言问题、所述图像信息以及所述目标知识进行处理，得到所述自然语言问题对应的答案；以及
[0013]如果所述目标知识为结构化数据，通过第二神经网络模型对所述自然语言问题、所述图像信息以及所述目标知识进行处理，得到所述自然语言问题对应的答案。
[0014]根据本申请实施例的第三方面，提供了一种电子设备，包括：一个或多个处理器；计算机可读存储介质，配置为存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述实施例的第二方面所述的问答方
法。
[0015]根据本申请实施例的第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述实施例的第二方面所述的问答方法。
[0016]本申请实施例提供的问答系统，由于对知识库的形式不做限制，即知识库可以包括结构化数据和非结构化数据，这样，知识库的内容更广，可以处理开放领域的问题，例如可以处理专业领域问题和日常生活问题等，具有更好的泛化性。相应地，对于结构化的目标知识和非结构化的目标知识，可以按照不同的模型进行处理，例如，第一神经网络模型对非结构化数据的处理效果较好，第二神经网络对结构化数据的处理效果较好，这样可以提高问答的准确性。并且，本申请的问答系统是非端到端的系统，每个模块都是独立的、可控的，因此，更加灵活。
附图说明
[0017]通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
[0018]图1为本申请实施例中问答系统的一种结构示意图；
[0019]图2为本申请实施例中问答系统的又一种结构示意图；
[0020]图3为本申请实施例中问答系统的又一种结构示意图；
[0021]图4a为本申请实施例中问答机器人场景示例的示意图；
[0022]图4b为本申请实施例中客服领域场景示例的示意图；
[0023]图5为本申请实施例中问答方法的一种流程图；
[0024]图6为本申请实施例中电子设备的结构示意图。
具体实施方式
[0025]下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅配置为解释相关专利技术，而非对该专利技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关专利技术相关的部分。
[0026]需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
[0027]人工智能是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得较佳结果的理论、方法、技术及应用系统。作为人工智能的一个重要分支，计算机视觉、自然语言处理以及机器学习在多方面均有广泛应用。
[0028]计算机视觉(Computer Vision，CV)是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。
[0029]自然语言处理是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理技术通常包括文本处理、语义理解、机器翻译、机器人问答等技术。
[0030]机器学习是一门多领域交叉学科，专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习
是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。
[0031]视觉问答(Visual Question Answering，VQA)是一个涉及计算机视觉和自然语言处理的领域。VQA系统可以将图像和关于图像的自由的、开放的自然语言问题作为输入，并将生成的自然语言答案作为输出。其中，关于图像的自由的、开放的自然语言问题，指的是在确定问题的答案时，可以依赖外部的知识源以预测到正确的答案，而不是只依赖图像或自然语言的内容预测到正确答案。
[0032]目前，深度学习技术可以改善自然语言处理和计算机视觉结果，因此，基于深度学习技术进行视觉问答，使得问答效果越来越好。相关技术中，所使用的知识源通常是一些结构化的知识源，这些知识源由于经过多次筛选和人工处理，对于一些需要专业背景的问题具有较好的效果，但面对非专业领域(例如生活方面的问题等)的问题时，很难取得较好的效果。
[0033]为了解决上述问题，本申请实施例提供了一种问答系统、问答方法、电子设备及计算机可读存储介质，可以提高问答的准确性，以提升用户体验。
[0034]本申请实施例提供的方案涉及人工智能的问答技术，具体通过如下实施例进行说明：
[0035]参见图1，图1本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种问答系统，包括：预处理模块，用于获取待处理图像以及与所述待处理图像相关的自然语言问题，并确定所述待处理图像的图像信息；知识检索模块，用于根据所述图像信息、所述自然语言问题以及知识库，确定目标知识，其中，所述知识库包括：结构化数据和非结构化数据；阅读理解模块，用于如果所述目标知识为非结构化数据，通过第一神经网络模型对所述自然语言问题、所述图像信息以及所述目标知识进行处理，得到所述自然语言问题对应的答案；以及，如果所述目标知识为结构化数据，通过第二神经网络模型对所述自然语言式问题、所述图像信息以及所述目标知识进行处理，得到所述自然语言问题对应的答案。2.根据权利要求1所述的系统，其中，所述预处理模块包括：特征提取单元，用于对所述待处理图像进行特征提取，得到图像特征；所述阅读理解模块具体用于如果所述目标知识为非结构化数据，通过所述第一神经网络模型对所述自然语言问题、所述图像信息、所述目标知识以及所述图像特征进行处理，得到所述自然语言问题对应的答案；以及，如果在所述目标知识为结构化数据，通过所述第二神经网络模型对所述自然语言问题、所述图像信息、所述目标知识以及所述图像特征进行处理，得到所述自然语言问题对应的答案。3.根据权利要求1所述的系统，其中，所述问答系统还包括：问题类别划分模块，用于对所述自然语言问题进行类别划分，确定所述自然语言问题所属的问题类别；所述阅读理解模块，具体用于通过所述第一神经网络模型或者所述第二神经网络模型以所述问题类别对应的处理方式对所述自然语言问题、所述图像信息以及所述目标知识进行处理，得到所述自然语言问题对应的答案。4.根据权利要求1所述的系统，其中，所述预处理模块包括：第一图像信息确定单元，用于对所述待处理图像进行物体检测，得到所述待处理图像中物体的信息，将所述物体的信息作为图像信息。5.根据权利要求1或4所述的系统，其...

【专利技术属性】
技术研发人员：杨兰，耿瑞莹，李永彬，孙健，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：