基于图卷积网络的视觉检索模型的无监督训练方法和装置制造方法及图纸

本发明专利技术提供一种基于图卷积网络的视觉检索模型的无监督训练方法和装置。其中方法包括：将图像样本集输入特征提取网络得到特征提取网络输出的目标特征信息；基于目标特征信息构建图像样本集的无向图，将无向图输入图卷积网络，将图像样本集输入特征提取网络，获取特征提取网络的中间层特征信息输入图卷积网络，得到图卷积网络输出第一概率分布信息和特征提取网络输出的目标特征信息；基于目标特征信息对图像样本集进行聚类，基于聚类的结果确定图像样本集的第二概率分布信息，基于第一概率分布信息和第二概率分布信息对特征提取网络和图卷积网络的参数进行调整。本发明专利技术可以提升样本的特征表达，从而提升特征提取网络的性能，提升视觉检索的效果。提升视觉检索的效果。提升视觉检索的效果。

【技术实现步骤摘要】
基于图卷积网络的视觉检索模型的无监督训练方法和装置


[0001]本专利技术涉及计算机视觉
，尤其涉及一种基于图卷积网络的视觉检索模型的无监督训练方法和装置。

技术介绍

[0002]跨领域视觉检索任务要求使用源域的标签和目标域的无标签图像，实现在目标领域的图像检索。因此对视觉检索模型的鲁棒性要求较高。
[0003]目前对跨领域视觉检索任务的视觉检索模型的训练主要通过两阶段来实现：第一阶段为根据图像样本集通过特征提取网络得到的特征，使用无监督聚类方法对图像样本集进行聚类，产生图像样本集的伪标签；第二阶段为利用伪标签作为监督信息通过图像样本集对特征提取网络进行训练。
[0004]上述对视觉检索模型的无监督训练方法存在以下问题：（1）在聚类过程会产生具有大量噪声的伪标签，使用伪标签监督的训练过程会降低特征的判别性；（2）特征提取网络能够从图像样本本身学习到有用的信息，但是不能够学习到图像样本之间的关系。

技术实现思路

[0005]本专利技术提供一种基于图卷积网络的视觉检索模型的无监督训练方法和装置，用以解决现有技术本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于图卷积网络的视觉检索模型的无监督训练方法，其特征在于，包括：将图像样本集输入特征提取网络进行特征提取处理，得到所述特征提取网络输出的目标特征信息；基于所述目标特征信息构建所述图像样本集的无向图，将所述无向图输入图卷积网络进行聚类处理，将所述图像样本集输入所述特征提取网络进行特征提取处理，获取所述特征提取网络的中间层特征信息输入所述图卷积网络，得到所述图卷积网络输出的所述图像样本集的第一概率分布信息和所述特征提取网络输出的所述目标特征信息；基于所述目标特征信息对所述图像样本集进行聚类处理，基于所述聚类处理的结果确定所述图像样本集的第二概率分布信息，基于所述第一概率分布信息和所述第二概率分布信息确定当前的训练损失；基于所确定的当前的训练损失，对所述特征提取网络和所述图卷积网络的参数进行调整。2.根据权利要求1所述的基于图卷积网络的视觉检索模型的无监督训练方法，其特征在于，所述基于所述目标特征信息构建所述图像样本集的无向图，包括：基于所述目标特征信息，确定所述图像样本集中每个图像样本与其他图像样本之间的第一相似度；基于所确定的第一相似度和预先设定的最近邻样本的数量，选取每个图像样本的最近邻图像样本；将所述每个图像样本与其所选取的最近邻图像样本连接，构建所述图像样本集的无向图。3.根据权利要求1或2所述的基于图卷积网络的视觉检索模型的无监督训练方法，其特征在于，所述获取所述特征提取网络的中间层特征信息输入所述图卷积网络，包括：按照图像样本经过所述特征提取网络的层级顺序，依次获取所述特征提取网络中第一目标层输出的所述中间层特征信息；将依次获取的所述中间层特征信息按照所述无向图经过所述图卷积网络的层级顺序，依次输入所述图卷积网络的第二目标层；其中，所述第一目标层的数量与所述第二目标层的数量相等，所述第一目标层与所述第二目标层一一对应。4.根据权利要求3所述的基于图卷积网络的视觉检索模型的无监督训练方法，其特征在于，所述将依次获取的所述中间层特征信息按照所述无向图经过所述图卷积网络的层级顺序，依次输入所述图卷积网络的第二目标层，包括：基于所获取的中间层特征信息和待输入所述中间层特征信息的第二目标层的前一层输出的特征信息，确定所述第二目标层的输入信息；将所确定的输入信息输入所述第二目标层。5.根据权利要求1至4任一项所述的基于图卷积网络的视觉检索模型的无监督训练...

【专利技术属性】
技术研发人员：王金桥，郭海云，闫天翊，赵朝阳，
申请(专利权)人：中科视语北京科技有限公司，
类型：发明
国别省市：