一种基于结构特征增强和类中心匹配的跨域图像分类方法技术

本发明专利技术提供一种基于结构特征增强和类中心匹配的跨域图像分类方法，包括：获取源域图像和目标域图像；构建视觉特征提取器和结构特征提取器提取上述图像的初始视觉特征和初始结构特征；基于上述图像的初始视觉特征和初始结构特征，获得源域图像增强特征和目标域图像增强特征，利用其对目标域图像进行类中心匹配，获得目标域图像的伪标签；使用具有真实标签的源域图像和具有伪标签的目标域图像对视觉特征提取器、结构特征提取器和分类器进行训练；利用训练好的视觉特征提取器、结构特征提取器和分类器获得待分类的目标域图像的分类结果。本发明专利技术综合考虑图像的视觉特征和结构特征，使用类中心匹配方法进行伪标签赋予操作，提高了跨域图像的分类精度。

【技术实现步骤摘要】
一种基于结构特征增强和类中心匹配的跨域图像分类方法
本专利技术涉及图像分类的
，更具体地，涉及一种基于结构特征增强和类中心匹配的跨域图像分类方法。
技术介绍
目前，国内外已经有人开始对跨域图像分类方法进行了研究和探索，目前用于跨域图像分类方法的特征一般是视觉特征，而忽略了结构特征，从而因为结构差异使得分类器在目标域图像上分类效果不好。同时，目前方法大多直接赋予目标域图像伪标签，然后用这些带伪标签的目标域图像对网络进行训练。但是，这种直接赋予伪标签的方式无法保证伪标签的准确率，使得错误的伪标签给分类器引入错误信息，造成分类器在目标域图像上分类效果不好。2020年6月2日公开的中国专利CN111222471A种提供了一种基于自监督域感知网络的零样本训练及相关分类方法，通过自监督学习的方式充分挖掘源域和目标域之间的关系，减少因目标域数据挖掘不充分而导致的域偏差；该方法通过以agent作为桥梁连接所有类别建立联合的嵌入空间，学习域感知的视觉特征，虽然具备一定的知识迁移和泛化能力，但是分类时仅考虑图像的视觉特征，忽略了图像的结构特征，赋予目本文档来自技高网...

【技术保护点】
1.一种基于结构特征增强和类中心匹配的跨域图像分类方法，其特征在于，所述方法包括以下步骤：/nS1：获取具有真实标签的源域图像和待分类的目标域图像；/nS2：构建视觉特征提取器，提取源域图像和目标域图像的初始视觉特征，构建结构特征提取器，提取源域图像和目标域图像的初始结构特征；/nS3：基于源域图像和目标域图像的初始视觉特征、源域图像和目标域图像的初始结构特征，获得源域图像增强特征和目标域图像增强特征；/nS4：利用源域图像增强特征和目标域图像增强特征对目标域图像进行类中心匹配，获得目标域图像的伪标签；/nS5：使用具有真实标签的源域图像和具有伪标签的目标域图像对视觉特征提取器、结构特征提取器...

【技术特征摘要】
1.一种基于结构特征增强和类中心匹配的跨域图像分类方法，其特征在于，所述方法包括以下步骤：
S1：获取具有真实标签的源域图像和待分类的目标域图像；
S2：构建视觉特征提取器，提取源域图像和目标域图像的初始视觉特征，构建结构特征提取器，提取源域图像和目标域图像的初始结构特征；
S3：基于源域图像和目标域图像的初始视觉特征、源域图像和目标域图像的初始结构特征，获得源域图像增强特征和目标域图像增强特征；
S4：利用源域图像增强特征和目标域图像增强特征对目标域图像进行类中心匹配，获得目标域图像的伪标签；
S5：使用具有真实标签的源域图像和具有伪标签的目标域图像对视觉特征提取器、结构特征提取器和分类器进行训练，获得训练好的视觉特征提取器、结构特征提取器和分类器；
S6：使用训练好的视觉特征提取器、结构特征提取器和分类器对待分类的目标域图像进行分类，获得待分类的目标域图像的分类结果。


2.根据权利要求1所述的基于结构特征增强和类中心匹配的跨域图像分类方法，其特征在于，获取源域图像和目标域图像的初始视觉特征的具体方法为：
以深度卷积神经网络Alexnet为基础网络构建视觉特征提取器；
将源域图像集合和目标域图像集合中的所有图像输入视觉特征提取器，获得源域图像的初始视觉特征集合和目标域图像的初始视觉特征集合
其中，ns表示源域图像的数量，表示第ns张源域图像，表示第nt张目标域图像，nt表示目标域图像的数量；XSV表示源域图像的初始视觉特征集合，表示第ns张源域图像的初始视觉特征；XTV表示目标域图像的初始视觉特征集合，表示第nt张目标域图像的初始视觉特征。


3.根据权利要求2所述的基于结构特征增强和类中心匹配的跨域图像分类方法，其特征在于，获取源域图像和目标域图像的初始结构特征的具体方法为：
以深度卷积神经网络Alexnet为基础网络构建结构特征提取器，所述结构特征提取器包括结构分数提取器和图卷积神经网络；
将源域图像集合和目标域图像集合中的所有图像输入结构分数提取器，获得源域图像结构分数集合XSC和目标域图像结构分数集合XTC；
将源域图像结构分数集合XSC和目标域图像结构分数集合XTC输入图卷积神经网络，获得源域图像的初始结构特征集合和目标域图像的初始结构特征集合
其中，XSD表示源域图像的初始结构特征集合，表示第ns张源域图像的初始结构特征；XTD表示目标域图像的初始结构特征集合，表示第nt张目标域图像的初始结构特征。


4.根据权利要求3所述的基于结构特征增强和类中心匹配的跨域图像分类方法，其特征在于，所述S3中，获得源域图像增强特征和目标域图像增强特征的具体方法为：
对源域图像的初始视觉特征和初始结构特征进行拼接操作，获得源域图像增强特征集合XSF＝[XSV,XSD]；
对目标域图像的初始视觉特征和初始结构特征进行拼接操作，获得目标域图像增强特征集合XTF＝[XTV,XTD]。


5.根据权利要求4所述的基于结构特征增强和类中心匹配的跨域图像分类方法，其特征在于，所述S4中，获得目标域图像的伪标签的具体方法为：
S4.1：利用目标域图像增强特集合XTF计算所有目标域图像对应的类别k，计算公式为：






其中，表示目标域图像集合XT中的第i项目标域图像，表示目标域上第k个类别的中心点,，argmin(*)为*取最小值时求变量取值的函数，K表示常数；表示目标域图像集合XT中在第k个点的所有图像，表示目标域图像增强特征集合XTF中的第i项增强特征；
S4.2：利用目标域图像增强特集合XSF计算所有源域图像对应的类别k′，计算公式为：






其中，表示源域图像集合XS中的第i项目标域图像，表示源域上第k′个类别的中心点，argmin...

【专利技术属性】
技术研发人员：孟敏，吴壮辉，武继刚，
申请(专利权)人：广东工业大学，
类型：发明
国别省市：广东;44