【技术实现步骤摘要】
基于一致性图建模的语义对应方法
本专利技术涉及计算机视觉领域，尤其是涉及一种基于一致性图建模的语义对应方法，可应用于图像的理解。
技术介绍
语义对应性试图在包含相同类别物体的图片之间建立语义相关的对应匹配，进而应用于物体识别、图像编辑、语义分割等众多领域。传统的语义对应工作利用手工特征，如SIFT(尺度不变特征)或HOG(方向梯度直方图特征)来建立对应匹配关系。然而手工设计的特征不能捕获高层次的语义信息，所以待匹配物体存在较大的物体形变时，这些传统方法不能有效地建立语义对应关系。此外，图片的背景杂乱、物体不同的视角变化、以及缺少稠密的对应标注数据等因素都增加了语义对应性任务的难度。为了捕获高层次的语义信息，基于卷积神经网络的语义对应工作应运而生，在语义对应任务中取得了巨大的成功。然而，这些方法大多不能捕获整张图片、图片之间的上下文信息，以及同时确保建立的语义对应具有一致性，这限制了模型对语义对应任务中各种挑战(如背景干扰)的泛化能力。因此，目前亟待解决的技术问题是提供一种适用性强，准确度更高的图和语义...
【技术保护点】
1.一种基于一致性图建模的语义对应方法，其特征在于，包括：/n建立源图像与目标图像之间的特征关系，采用图卷积网络对所述源图像的特征和所述目标图像的特征进行跨模态更新；/n对跨模态更新后的源图像特征建立自身特征之间的第一关联关系，对跨模态更新后的目标图像特征建立自身特征之间的第二关联关系，采用图卷积网络对建立第一关联关系后的源图像特征和建立第二关联关系后目标图像特征进行模态内更新；以及/n通过一致性损失对模态内更新后的源图像特征和模态内更新后的目标图像特征建立具有循环一致性的特征对应关系，得到所述源图像到所述目标图像上的语义对应结果。/n
【技术特征摘要】
1.一种基于一致性图建模的语义对应方法，其特征在于，包括：
建立源图像与目标图像之间的特征关系，采用图卷积网络对所述源图像的特征和所述目标图像的特征进行跨模态更新；
对跨模态更新后的源图像特征建立自身特征之间的第一关联关系，对跨模态更新后的目标图像特征建立自身特征之间的第二关联关系，采用图卷积网络对建立第一关联关系后的源图像特征和建立第二关联关系后目标图像特征进行模态内更新；以及
通过一致性损失对模态内更新后的源图像特征和模态内更新后的目标图像特征建立具有循环一致性的特征对应关系，得到所述源图像到所述目标图像上的语义对应结果。
2.根据权利要求1所述的方法，其特征在于，建立所述源图像与所述目标图像之间的特征关系包括：
获取所述源图像的图像特征，并将每个特征点作为源节点；
获取所述目标图像的图像特征，并将每个特征点作为目标节点；以及
在所述源节点和所述目标节点之间建立边；
其中，所述源节点和所述目标节点均为数据结构图的输入节点。
3.根据权利要求2所述的方法，其特征在于，采用图卷积网络对所述源图像的特征和所述目标图像的特征进行跨模态更新包括，通过公式(1)和(2)进行跨模态更新：
其中，hs表示源节点特征，ht表示目标节点特征，表示跨模态更新后的源节点特征，表示跨模态更新后的目标节点特征，表示源节点到目标节点的边，表示目标节点到源节点的边，ms表示根据边找到与源节点有连接关系的所有目标节点的特征的累和，mt表示根据边找到与目标节点具有连接关系的所有源节点的特征的累和，是特征串联操作，表示神经网络，表示跨图更新后的源节点特征，表示跨图更新后的目标节点特征。
4.根据权利要求3所述的方法，其特征在于，对跨模态更新后的源图像特征建立自身特征之间的第一关联关系，对跨模态更新后的目标图像特征建立自身特征之间的第二关联关系包括：
通过模态内数据结构图对跨模态更新后的源节点特征编码获得自身模态内的上下文信息，获取经过第一关联关系后的源节点特征的邻接矩阵；以及
通过模态内数据结构图对跨模态更新后的目标节点特征编码获得自身模态内的上下文信息，获取经过第二关联关系后的目标图节点征的邻接矩阵。
5.根据权利要求4所述的方法，其特征在于，
获取经过第一关联关系后的源节点特征的邻接矩阵包括，通过公式(3)计算获得邻接矩阵：
获取经过第二关联关系后的目标节点特征的邻接矩阵包括，通过公式(4)计算获得邻接矩阵：
其中，As表示源节点特征的邻接矩阵，At表示目标节点特征的邻接矩阵，Wθ与Wψ是可学习的参数，ReLU(·)表示激活函数。
6.根据权利要求5所述的方法，其特征在于，采用图卷积网络对建立第一关联关系后的源图...
【专利技术属性】
技术研发人员：张天柱，张勇东，何建峰，吴枫，
申请(专利权)人：中国科学技术大学，
类型：发明
国别省市：安徽;34
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。