本申请涉及一种基于双曲超图卷积的视觉对象检索方法及装置，其中，方法包括：基于多模态原始表示提取多模态特征；将欧式空间的多模态特征映射到双曲空间；在双曲空间上进行特征学习和融合，得到训练好的网络模型参数初始化双曲超图神经网络；针对未知对象的检索任务，基于训练好的网络模型参数初始化双曲超图神经网络，提取新数据的嵌入表示，以获得未知数据的检索识别结果。由此，解决了相关技术中，通过超图神经网络在欧式空间中进行关联构建和结构学习，在使得大部分不同类别物体距离远的时候，总有部分物体因为空间曲率的限制而无法被拉开距离，降低了所学习对象特征的可辨别能力，无法提升面向未知对象时算法的检索精度等问题。问题。问题。
【技术实现步骤摘要】
基于双曲超图卷积的视觉对象检索方法及装置
[0001]本申请涉及对象检索识别
，特别涉及一种基于双曲超图卷积的视觉对象检索方法及装置。
技术介绍
[0002]超图神经网络由于其面向多模态数据时灵活的数据构建方法和面向高阶关联时强大的学习能力，逐渐吸引了大量学者们的注意力。相比于图神经网络，超图神经网络常被用于多模态数据和高阶关联并存的场景，如：立体对象识别于检索、药物发现和社区挖掘等等。
[0003]相关技术中，一般通过双曲空间与欧式空间存在的双射映射，实现一对一的对应关系，可以在双曲空间上应用测地线度量学习欧式空间上可变形卷积核的变形参数，提升在视觉任务中的准确度。
[0004]然而，相关技术中，通过超图神经网络在欧式空间中进行关联构建和结构学习，在使得大部分不同类别物体距离远的时候，总有部分物体因为空间曲率的限制而无法被拉开距离，降低了所学习对象特征的可辨别能力，无法提升面向未知对象时算法的检索精度。
技术实现思路
[0005]本申请提供一种基于双曲超图卷积的视觉对象检索方法及装置，以解决相关技术中，通过超图神经网络在欧式空间中进行关联构建和结构学习，在使得大部分不同类别物体距离远的时候，总有部分物体因为空间曲率的限制而无法被拉开距离，降低了所学习对象特征的可辨别能力，无法提升面向未知对象时算法的检索精度等问题。
[0006]本申请第一方面实施例提供一种基于双曲超图卷积的视觉对象检索方法，包括以下步骤：基于多模态原始表示提取多模态特征；将欧式空间的所述多模态特征映射到双曲空间；在所述双曲空间上进行特征学习和融合，且映射回所述欧式空间，生成一致性的对象嵌入表示，得到训练好的网络模型参数初始化双曲超图神经网络；针对未知对象的检索任务，基于所述训练好的网络模型参数初始化双曲超图神经网络，提取新数据的嵌入表示，以获得未知数据的检索识别结果。
[0007]可选地，在本申请的一个实施例中，所述基于多模态原始表示提取多模态基础特征，包括：定义多模态特征提取网络；训练所述多模态特征提取网络的每个模态特征提取网络，并通过训练后的网络提取训练集和测试集中对象的基础特征表示；基于所述基础特征表示构建多模态超图关联结构。
[0008]可选地，在本申请的一个实施例中，所述将欧式空间的所述多模态基础特征映射到双曲空间，包括：定义双曲流形空间；定义所述欧氏空间到所述双曲空间的映射函数；遍历每个模态表示，将每个模态特征均通过一致的映射函数，从所述欧式空间映射到所述双曲空间。
[0009]可选地，在本申请的一个实施例中，所述在所述双曲空间上进行特征学习和融合，
且映射回所述欧式空间，生成一致性的对象嵌入表示，包括：构建双曲超图卷积，对所述双曲空间中的多模态特征进行学习，依次生成节点特征、超边特征、新的节点特征；定义多模态融合网络，将所述双曲空间中的多模态特征进行融合，生成所述一致性的对象嵌入表示。
[0010]可选地，在本申请的一个实施例中，所述针对未知对象的检索任务，基于所述训练好的网络模型参数初始化双曲超图神经网络，提取新数据的嵌入表示，以获得未知数据的检索识别结果，包括：从所述未知对象的多模态表示中提取多模态基础特征；基于所述多模态基础特征，构建多模态的双曲超图神经网络；利用所述训练好的网络模型参数初始化双曲超图神经网络，从所述多模态基础表示中提取对象嵌入表示；基于所述对象嵌入表示获得相似对象的列表。
[0011]本申请第二方面实施例提供一种基于双曲超图卷积的视觉对象检索装置，包括：提取模块，用于基于多模态原始表示提取多模态特征；映射模块，用于将欧式空间的所述多模态特征映射到双曲空间；生成模块，用于在所述双曲空间上进行特征学习和融合，且映射回所述欧式空间，生成一致性的对象嵌入表示，得到训练好的网络模型参数初始化双曲超图神经网络；检索模块，用于针对未知对象的检索任务，基于所述训练好的网络模型参数初始化双曲超图神经网络，提取新数据的嵌入表示，以获得未知数据的检索识别结果。
[0012]可选地，在本申请的一个实施例中，所述提取模块包括：第一定义单元，用于定义多模态特征提取网络；提取单元，用于训练所述多模态特征提取网络的每个模态特征提取网络，并通过训练后的网络提取训练集和测试集中对象的基础特征表示；构建单元，用于基于所述基础特征表示构建多模态超图关联结构。
[0013]可选地，在本申请的一个实施例中，所述映射模块包括：第二定义单元，用于定义双曲流形空间；第三定义单元，用于定义所述欧氏空间到所述双曲空间的映射函数；映射单元，用于遍历每个模态表示，将每个模态特征均通过一致的映射函数，从所述欧式空间映射到所述双曲空间。
[0014]可选地，在本申请的一个实施例中，所述生成模块包括：第一生成单元，用于构建双曲超图卷积，对所述双曲空间中的多模态特征进行学习，依次生成节点特征、超边特征、新的节点特征；第二生成单元，用于定义多模态融合网络，将所述双曲空间中的多模态特征进行融合，生成所述一致性的对象嵌入表示。
[0015]可选地，在本申请的一个实施例中，所述检索模块包括：特征提取单元，用于从所述未知对象的多模态表示中提取多模态基础特征；网络构建单元，用于基于所述多模态基础特征，构建多模态的双曲超图神经网络；对象提取单元，用于利用所述训练好的网络模型参数初始化双曲超图神经网络，从所述多模态基础表示中提取对象嵌入表示；获取单元，用于基于所述对象嵌入表示获得相似对象的列表。
[0016]本申请第三方面实施例提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如上述实施例所述的基于双曲超图卷积的视觉对象检索方法。
[0017]本申请第四方面实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储计算机程序，该程序被处理器执行时实现如上的基于双曲超图卷积的视觉对象检索方法。
[0018]本申请实施例可以利用双曲空间中变化的曲率空间，充分考虑不同的对象特征表
达能力的差异，设计了将特征从欧式空间映射到双曲空间和从双曲空间映射到欧式空间的两个转换函数，使得最终生成的对象嵌入表示更具可辨别性，从而带来对象检索任务下的性能提升。由此，解决了相关技术中，通过超图神经网络在欧式空间中进行关联构建和结构学习，在使得大部分不同类别物体距离远的时候，总有部分物体因为空间曲率的限制而无法被拉开距离，降低了所学习对象特征的可辨别能力，无法提升面向未知对象时算法的检索精度等问题。
[0019]本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
[0020]本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
[0021]图1为根据本申请实施例提供的一种基于双曲超图卷积的视觉对象检索方法的流程图；
[0022]图2为根据本申请一个实施例的基于双曲超图卷积的视觉本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于双曲超图卷积的视觉对象检索方法，其特征在于，包括以下步骤：基于多模态原始表示提取多模态特征；将欧式空间的所述多模态特征映射到双曲空间；在所述双曲空间上进行特征学习和融合，且映射回所述欧式空间，生成一致性的对象嵌入表示，得到训练好的网络模型参数初始化双曲超图神经网络；针对未知对象的检索任务，基于所述训练好的网络模型参数初始化双曲超图神经网络，提取新数据的嵌入表示，以获得未知数据的检索识别结果。2.根据权利要求1所述的方法，其特征在于，所述基于多模态原始表示提取多模态基础特征，包括：定义多模态特征提取网络；训练所述多模态特征提取网络的每个模态特征提取网络，并通过训练后的网络提取训练集和测试集中对象的基础特征表示；基于所述基础特征表示构建多模态超图关联结构。3.根据权利要求1所述的方法，其特征在于，所述将欧式空间的所述多模态基础特征映射到双曲空间，包括：定义双曲流形空间；定义所述欧式空间到所述双曲空间的映射函数；遍历每个模态表示，将每个模态特征均通过一致的映射函数，从所述欧式空间映射到所述双曲空间。4.根据权利要求1所述的方法，其特征在于，所述在所述双曲空间上进行特征学习和融合，且映射回所述欧式空间，生成一致性的对象嵌入表示，包括：构建双曲超图卷积，对所述双曲空间中的多模态特征进行学习，依次生成节点特征、超边特征、新的节点特征；定义多模态融合网络，将所述双曲空间中的多模态特征进行融合，生成所述一致性的对象嵌入表示。5.根据权利要求1所述的方法，其特征在于，所述针对未知对象的检索任务，基于所述训练好的网络模型参数初始化双曲超图神经网络，提取新数据的嵌入表示，以获得未知数据的检索识别结果，包括：从所述未知对象的多模态表示中提取多模态基础特征；基于所述多模态基础特征，构建多模态的双曲超图神经网络；利用所述训练好的网络模...
【专利技术属性】
技术研发人员：高跃，丰一帆，丁贵广，
申请(专利权)人：清华大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。