答案信息获取方法、装置、设备及存储介质制造方法及图纸

本申请公开了一种答案信息获取方法、装置、设备及存储介质，属于计算机技术领域。方法包括：基于目标图像，获取所述目标图像的描述信息，所述描述信息包括多条描述子信息；基于所述目标图像的问题信息，确定所述描述信息中每条描述子信息与所述问题信息的关联度；基于确定的关联度，对所述描述信息中的至少一条描述子信息进行弱化处理，得到处理后的描述信息；基于所述问题信息和所述处理后的描述信息，确定所述问题信息的答案信息。该方案能够弱化目标图像中的噪声信息，减少噪声信息的干扰，从而更加准确地确定出问题信息的答案信息，提高了视觉问答的准确性。提高了视觉问答的准确性。提高了视觉问答的准确性。

【技术实现步骤摘要】
答案信息获取方法、装置、设备及存储介质


[0001]本申请涉及计算机
，特别涉及一种答案信息推荐方法、装置、设备及存储介质。

技术介绍

[0002]视觉问答(Visual Question Answering，VQA)是一项结合计算机视觉和自然语言处理两个领域的典型任务，受到了大家的广泛关注。VQA系统可以根据指定图像以及对该指定图像提出的问题，来产生一条答案。简而言之，VQA就是针对指定图像进行问答。例如，指定图像为一张足球比赛的图像，对该指定图像提出的问题是“照片中有多少个运动员”，VQA系统可以将该指定图像和问题信息作为输入，结合这两部分信息，产生一条答案(例如，11个)作为输出。
[0003]相关技术中，VQA系统通过对输入的图像进行处理，得到该图像的描述信息，基于该图像的描述信息和输入的问题信息，从多个候选答案信息中，确定与该图像和问题信息匹配的答案信息。但是，实际应用中发现VQA系统的准确性较低。

技术实现思路

[0004]本申请实施例提供了一种答案信息获取方法、装置、设备及存储介质，提高了视觉问答的准确性。该技术方案如下：
[0005]一方面，提供了一种答案信息获取方法，所述方法包括：基于目标图像，获取所述目标图像的描述信息，所述描述信息包括多条描述子信息；基于所述目标图像的问题信息，确定所述描述信息中每条描述子信息与所述问题信息的关联度；基于确定的关联度，对所述描述信息中的至少一条描述子信息进行弱化处理，得到处理后的描述信息；基于所述问题信息和所述处理后的描述信息，确定所述问题信息的答案信息。
[0006]一方面，提供了一种答案信息获取装置，所述装置包括：信息获取模块，用于基于目标图像，获取所述目标图像的描述信息，所述描述信息包括多条描述子信息；关联度确定模块，用于基于所述目标图像的问题信息，确定所述描述信息中每条描述子信息与所述问题信息的关联度；处理模块，用于基于确定的关联度，对所述描述信息中的至少一条描述子信息进行弱化处理，得到处理后的描述信息；答案确定模块，用于基于所述问题信息和所述处理后的描述信息，确定所述问题信息的答案信息。
[0007]在一种可能实现方式中，所述描述信息包括关系描述信息，所述关系描述信息包括多条关系描述子信息，不同关系描述子信息用于描述所述目标图像中对象之间的不同关系；所述问题信息用于表示与所述目标图像中对象关联的问题；所述关联度确定模块，用于基于所述问题信息，确定所述关系描述信息中每条关系描述子信息与所述问题信息的关联度，所述关联度表示所述关系描述子信息表示的关系与所述问题信息的关联程度。
[0008]在一种可能实现方式中，所述关系描述子信息指代所述目标图像的一种关系图，不同关系描述子信息指代所述目标图像的不同种关系图；所述关系图中的一个节点指代所
述目标图像中的一个对象，所述节点的节点特征指代所述对象的对象特征；所述关系图中两个节点之间的边指代对应两个对象之间的关系，所述边的边特征指代所述对应两个对象之间的关系的关系特征，且所述边的方向为所述两个物体之间关系所指示的方向；或者，所述关系图中两个节点之间的边指代对应两个对象对应关系下的关联度，且所述边的方向为所述对应的两个物体之间关联度所指示的方向；所述关联度确定模块，用于确定所述目标图像的多种关系图中每种关系图的第一全局特征；确定所述问题信息的第二全局特征；将所述每种关系图的第一全局特征与所述第二全局特征的相似度，确定为所述每种关系图与所述问题信息的关联度。
[0009]在一种可能实现方式中，所述处理模块，包括：权值确定单元，用于基于所述确定的关联度，确定所述每种关系图的权值；融合单元，用于所述处理后的描述信息包括所述目标图像的第三全局特征，基于所述每种关系图的权值，将所述多种关系图的第一全局特征进行加权融合，得到所述目标图像的第三全局特征；或者，所述处理后的描述信息包括所述目标图像的目标关系图，基于所述每种关系图的权值，将所述多种关系图进行加权融合，得到所述目标图像的目标关系图。
[0010]在一种可能实现方式中，所述描述信息包括对象描述信息，所述对象描述信息包括多条对象描述子信息，不同对象描述子信息用于描述所述目标图像中的不同对象，所述问题信息用于表示与所述目标图像中对象关联的问题；所述关联度确定模块，用于基于所述问题信息，确定所述对象描述信息中每条对象描述子信息与所述问题信息的关联度，所述关联度用于表示所述对象描述子信息表示的对象与所述问题信息的关联程度。
[0011]在一种可能实现方式中，所述关联度确定模块，包括：融合单元，用于将所述描述信息中的每条对象描述子信息与所述问题信息进行融合，得到多条融合后的对象描述子信息；确定单元，用于基于所述多条融合后的对象描述子信息，确定每两条融合后的对象描述子信息之间的关联度；所述确定单元，还用于对于每条融合后的对象描述子信息，基于所述多条融合后的对象描述子信息中除所述融合后的对象描述子信息之外的其他融合后的对象描述子信息与所述融合后的对象描述子信息的关联度和值，确定所述融合后的对象描述子信息与所述问题信息的关联度。
[0012]在一种可能实现方式中，所述对象描述子信息指代对象特征；所述融合单元，用于获取所述问题信息中每个词语的文本特征；对于所述描述信息中的每个对象特征，获取所述对象特征与每个文本特征的相似度，基于获取的相似度，将所述每个文本特征与所述对象特征进行融合，得到融合后的对象特征。
[0013]在一种可能实现方式中，所述对象描述子信息指代对象特征；所述确定单元，用于基于每个融合后的对象特征，获取所述融合后的对象特征的查询特征、键特征和值特征，获取所述融合后的对象特征的查询特征与多个融合后的对象特征中除所述融合后的对象特征之外的其他融合后的对象特征的键特征的相似度，基于获取的相似度，确定所述融合后的对象特征与所述其他融合后的对象特征的关联度。
[0014]在一种可能实现方式中，所述处理模块，用于基于确定的关联度，对所述描述信息中的至少一条融合后的对象描述子信息进行弱化处理，得到所述处理后的描述信息。
[0015]在一种可能实现方式中，所述处理模块，用于基于所述确定的关联度，确定每条描述子信息的权值，基于所述每条描述子信息的权值，对所述多条描述子信息进行弱化处理，
得到所述处理后的描述信息；或者，所述处理模块，用于基于所述确定的关联度，从所述描述信息中确定至少一条描述子信息，对所述至少一条描述子信息进行弱化处理，得到所述处理后的描述信息。
[0016]在一种可能实现方式中，所述处理模块，用于基于所述确定的关联度，确定所述至少一条描述子信息中每条描述子信息的权值，基于所述每条描述子信息的权值，对所述描述信息中的所述至少一条描述子信息进行弱化处理，得到所述处理后的描述信息；或者，所述处理模块，用于将所述至少一条描述子信息从所述描述信息中删除，得到所述处理后的描述信息。
[0017]一方面，提供了一种计算机设备，该计算机设备包括一个或多个处理器和一个或多个存储器本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种答案信息获取方法，其特征在于，所述方法包括：基于目标图像，获取所述目标图像的描述信息，所述描述信息包括多条描述子信息；基于所述目标图像的问题信息，确定所述描述信息中每条描述子信息与所述问题信息的关联度；基于确定的关联度，对所述描述信息中的至少一条描述子信息进行弱化处理，得到处理后的描述信息；基于所述问题信息和所述处理后的描述信息，确定所述问题信息的答案信息。2.根据权利要求1所述的方法，其特征在于，所述描述信息包括关系描述信息，所述关系描述信息包括多条关系描述子信息，不同关系描述子信息用于描述所述目标图像中对象之间的不同关系；所述问题信息用于表示与所述目标图像中对象关联的问题；所述基于所述目标图像的问题信息，确定所述描述信息中每条描述子信息与所述问题信息的关联度，包括：基于所述问题信息，确定所述关系描述信息中每条关系描述子信息与所述问题信息的关联度，所述关联度表示所述关系描述子信息表示的关系与所述问题信息的关联程度。3.根据权利要求2所述的方法，其特征在于，所述关系描述子信息指代所述目标图像的一种关系图，不同关系描述子信息指代所述目标图像的不同种关系图；所述关系图中的一个节点指代所述目标图像中的一个对象，所述节点的节点特征指代所述对象的对象特征；所述关系图中两个节点之间的边指代对应两个对象之间的关系，所述边的边特征指代所述对应两个对象之间的关系的关系特征，且所述边的方向为所述两个物体之间关系所指示的方向；或者，所述关系图中两个节点之间的边指代对应两个对象对应关系下的关联度，且所述边的方向为所述对应的两个物体之间关联度所指示的方向；所述基于所述问题信息，确定所述关系描述信息中每条关系描述子信息与所述问题信息的关联度，包括：确定所述目标图像的多种关系图中每种关系图的第一全局特征；确定所述问题信息的第二全局特征；将所述每种关系图的第一全局特征与所述第二全局特征的相似度，确定为所述每种关系图与所述问题信息的关联度。4.根据权利要求3所述的方法，其特征在于，所述基于确定的关联度，对所述描述信息中的至少一条描述子信息进行弱化处理，得到处理后的描述信息，包括：基于所述确定的关联度，确定所述每种关系图的权值；所述处理后的描述信息包括所述目标图像的第三全局特征，基于所述每种关系图的权值，将所述多种关系图的第一全局特征进行加权融合，得到所述目标图像的第三全局特征；或者，所述处理后的描述信息包括所述目标图像的目标关系图，基于所述每种关系图的权值，将所述多种关系图进行加权融合，得到所述目标图像的目标关系图。5.根据权利要求1所述的方法，其特征在于，所述描述信息包括对象描述信息，所述对象描述信息包括多条对象描述子信息，不同对象描述子信息用于描述所述目标图像中的不同对象，所述问题信息用于表示与所述目标图像中对象关联的问题；所述基于所述目标图像的问题信息，确定所述描述信息中每条描述子信息与所述问题信息的关联度，包括：
基于所述问题信息，确定所述对象描述信息中每条对象描述子信息与所述问题信息的关联度，所述关联度用于表示所述对象描述子信息表示的对象与所述问题信息的关联程度。6.根据权利要求5所述的方法，其特征在于，所述基于所述问题信息，确定所述对象描述信息中每条对象描述子信息与所述问题信息的关联度，包括：将所述描述信息中的每条对象描述子信息与所述问题信息进行融合，得到多条融合后的对象描述子信息；基于所述多条融合后的对象描述子信息，确定每两条融合后的对象描述子信息之间的关联度；对于每条融合后的对象描述子信...

【专利技术属性】
技术研发人员：钱羽希，王小捷，江会星，
申请(专利权)人：北京三快在线科技有限公司，
类型：发明
国别省市：