【技术实现步骤摘要】
多模态图谱构建、信息处理方法、装置、电子设备及介质
[0001]本公开涉及人工智能
，尤其涉及知识图谱、自然语言处理、计算机视觉和深度学习
具体地，涉及一种多模态图谱构建、信息处理方法、装置、电子设备及介质。
技术介绍
[0002]随着计算机技术的发展，人工智能技术也得以发展。人工智能技术可以包括计算机视觉技术、语音识别技术、自然语言处理技术、机器学习、深度学习、大数据处理技术及知识图谱技术等。
[0003]人工智能技术在各种领域得到了广泛应用。例如，可以利用人工智能技术构建多模态图谱。
技术实现思路
[0004]本公开提供了一种多模态图谱构建、信息处理方法、装置、电子设备及介质。
[0005]根据本公开的一方面，提供了一种多模态图谱构建方法，包括：根据场景图表的图像信息，构建视觉知识图谱；根据上述场景图表的文本信息，构建文本知识图谱；根据上述视觉知识图谱和上述文本知识图谱，构建第一中间多模态知识图谱；以及，根据相似关系信息处理上述第一中间多模态知识图谱，得到目标多模态知识图谱，其中，上述相似关系信息表征两个对象之间具有等价关系和包含关系中的至少之一的关系信息。
[0006]根据本公开的另一方面，提供了一种信息处理方法，包括：获取待处理信息；以及，利用根据多模态图谱构建方法得到的目标多模态知识图谱处理上述待处理信息，得到处理信息。
[0007]根据本公开的另一方面，提供了一种多模态图谱构建装置，包括：第一构建模块，用于根据场景图表的图像信息，构建视觉知识图...
【技术保护点】
【技术特征摘要】
1.一种多模态图谱构建方法，包括：根据场景图表的图像信息，构建视觉知识图谱；根据所述场景图表的文本信息，构建文本知识图谱；根据所述视觉知识图谱和所述文本知识图谱，构建第一中间多模态知识图谱；以及根据相似关系信息处理所述第一中间多模态知识图谱，得到目标多模态知识图谱，其中，所述相似关系信息表征两个对象之间具有等价关系和包含关系中的至少之一的关系信息。2.根据权利要求1所述的方法，其中，所述根据场景图表的图像信息，构建视觉知识图谱，包括：基于形态学方法处理所述场景图像的图像信息，得到至少一个第一中间图像信息；对所述至少一个第一中间图像信息进行数据增强，得到多个目标图像信息；以及根据所述多个目标图像信息，构建所述视觉知识图谱。3.根据权利要求2所述的方法，其中，所述基于形态学方法处理所述场景图像的图像信息，得到至少一个第一中间图像信息，包括：确定所述场景图像的图像信息的连通域信息，得到至少一个连通域图像信息；对所述至少一个连通域图像信息进行组合，得到至少一个组合图像信息；以及根据所述至少一个组合图像信息，得到所述至少一个第一中间图像信息。4.根据权利要求2或3所述的方法，其中，所述对所述至少一个第一中间图像信息进行数据增强，得到多个目标图像信息，包括：对所述至少一个第一中间图像信息进行基本数据增强，得到多个第二中间图像信息；根据多个第一目标中间图像信息中的任意两个第一目标中间图像信息，确定至少一个像素统计值集，其中，所述第一目标中间图像信息是所述多个第二中间图像信息中的；根据所述至少一个像素统计值集，确定至少一个第三中间图像信息；以及根据所述多个第二中间图像信息和所述至少一个第三中间图像信息，得到所述多个目标图像信息。5.根据权利要求2或3所述的方法，其中，所述对所述至少一个第一中间图像信息进行数据增强，得到多个目标图像信息，包括：根据与所述至少一个第一中间图像信息对应的标签信息，从所述至少一个第一中间图像信息中确定至少一个目标中间图像信息集，其中，所述目标中间图像信息集包括的第二目标中间图像信息的数目小于或等于预定阈值；针对所述至少一个目标中间图像信息集中的目标中间图像信息集，针对所述目标中间信息集中的第二目标中间图像信息，根据所述第二目标中间图像信息与其他第二目标中间图像信息之间的相似度，从所述目标中间信息集中确定相似中间图像信息集；根据所述第二目标中间图像信息和所述相似中间图像信息集，确定与所述第二目标中间图像信息对应的至少一个目标图像信息；以及根据与所述至少一个目标中间图像信息集对应的至少一个目标图像信息，得到所述多个目标图像信息。6.根据权利要求2～5中任一项所述的方法，其中，所述根据所述多个目标图像信息，构
建所述视觉知识图谱，包括：对所述多个目标图像信息进行特征提取，得到与所述多个目标图像信息各自对应的视觉特征；根据与所述多个目标图像信息各自对应的视觉特征，得到与所述多个目标图像信息各自对应的至少一个视觉区域特征；根据与所述多个目标图像信息各自对应的至少一个视觉区域特征，确定与所述多个目标图像信息各自对应的至少一个第一实体和所述至少一个第一实体之间的至少一个第一关系；以及根据与所述多个目标图像信息各自对应的至少一个第一实体和所述至少一个第一实体之间的至少一个第一关系，构建所述视觉知识图谱。7.根据权利要求6所述的方法，其中，所述对所述多个目标图像信息进行特征提取，得到与所述多个目标图像信息各自对应的视觉特征，包括：对所述多个目标图像信息进行特征提取，得到与所述多个目标图像信息各自对应的至少一个尺度的第一特征图；以及根据与所述多个目标图像信息各自对应的至少一个尺度的第一特征图，得到与所述多个目标图像信息各自对应的视觉特征。8.根据权利要求7所述的方法，其中，所述对所述多个目标图像信息进行特征提取，得到与所述多个目标图像信息各自对应的至少一个尺度的第一特征图，包括：针对所述多个目标图像信息中的目标图像信息，对所述目标图像信息进行M个阶段的特征提取，得到与第M阶段对应的至少一个第一特征图；以及根据与所述第M阶段对应的至少一个第一特征图，得到与所述目标图像信息对应的至少一个尺度的第一特征图；其中，第m阶段具有T
m
个并联层级，同一并联层级的第一特征图的图像分辨率相同，不同并联层级的第一特征图的图像分辨率不同；其中，M是大于1或等于1的整数，m是大于或等于1且小于或等于M的整数，T
m
是大于或等于1的整数。9.根据权利要求8所述的方法，其中，在M是大于1的整数的情况下，所述对所述目标图像信息进行M个阶段的特征提取，得到与第M阶段对应的至少一个第一特征图，包括：对与第m
‑
1阶段对应的至少一个第一特征图进行卷积处理，得到与第m阶段对应的至少一个第二特征图；以及对与所述第m阶段对应的至少一个第二特征图进行特征融合，得到与第m阶段对应的至少一个第一特征图；其中，m是大于1且小于或等于M的整数。10.根据权利要求9所述的方法，其中，所述对与所述第m阶段对应的至少一个第二特征图进行特征融合，得到与第m阶段对应的至少一个第一特征图，包括：针对所述T
m
个并联层级中的第i个并联层级，根据与所述第i个并联层级对应的其他第二特征图和与所述第i个并联层级对应的第二特征图，得到与所述第i个并联层级对应的第一特征图；
其中，与所述第i个并联层级对应的其他第二特征图是与所述T
m
个并联层级中除所述第i个并联层级以外的至少部分并联层级对应的第二特征图，i是大于或等于1且小于或等于T
m
的整数。11.根据权利要求7所述的方法，其中，所述对所述多个目标图像信息进行特征提取，得到与所述多个目标图像信息各自对应的至少一个尺度的第一特征图，包括：针对所述多个目标图像信息中的目标图像信息，对所述目标图像信息进行N个级联层级的特征提取，得到与所述目标图像信息对应的至少一个尺度的第一特征图，其中，N是大于1的整数。12.根据权利要求6～11中任一项所述的方法，其中，所述根据与所述多个目标图像信息各自对应的视觉特征，得到与所述多个目标图像信息各自对应的至少一个视觉区域特征，包括：针对所述多个目标图像信息中的目标图像信息，根据与所述目标图像信息对应的视觉特征，得到至少一个第一热力图和至少一个第一偏移图；根据所述至少第一热力图和所述至少一个第一偏移图，确定与所述目标图像信息对应的至少一个第一检测框；根据与所述目标图像信息对应的至少一个第一检测框，确定与所述目标图像信息对应的至少一个第一目标图像区域信息；以及根据与所述目标图像信息对应的至少一个第一目标图像区域信息，确定与所述目标图像信息对应的至少一个视觉区域特征。13.根据权利要求12所述的方法，其中，所述至少一个第一热力图包括中心热力图和至少一个第一边缘热力图；其中，所述根据所述至少第一热力图和所述至少一个第一偏移图，确定与所述目标图像信息对应的至少一个第一检测框，包括：根据所述至少一个第一边缘热力图和所述至少一个第一偏移图，确定至少一个第一候选边缘点；根据所述至少一个第一候选边缘点，确定至少一个第一候选边缘点集；确定与所述至少一个第一...
【专利技术属性】
技术研发人员：肖钧文，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。