基于交叉领域类别感知的领域适应语义分割方法及装置制造方法及图纸

本发明专利技术实施例提供一种基于交叉领域类别感知的领域适应语义分割方法及装置，该方法包括：将源图像风格转换为目标图像风格后，分别进行特征提取及分类；将特征图和分类分数图输入交叉域类别感知模块；分别通过两个交叉域类别感知器的交叉域类别中心生成器对特征图类别中心进行调整使特征图的类别中心靠近；分别通过类别注意力模块对特征图的分类模糊特征点进行调整，得到第一注意力特征图和第二注意力特征图进而进行语义分割。本发明专利技术实施例模型在提取某一领域特征时关注另一领域数据特征的类别中心，并结合注意力机制，重点对两个领域中分类模糊的像素点特征进行调整，使不同领域同种类特征的类别中心一致，减小特征分布的差异，实现领域适应。

【技术实现步骤摘要】
基于交叉领域类别感知的领域适应语义分割方法及装置
本专利技术涉及人工智能
，具体涉及一种基于交叉领域类别感知的领域适应语义分割方法及装置。
技术介绍
语义分割数据标签的标注需要耗费大量的人工精力。因此，用于语义分割的真实数据集一般只包含少量的样本，但是这会抑制模型对各种真实情况的泛化。常用的解决方法是无监督的语义分割方法，即将基于计算机合成的数据集训练得到的模型用于同种类别真实场景的数据集。为了减小对实际特征信息造成损坏，需要采用领域适应方法减小不同领域数据集图像的特征空间分布存在的差异。传统的领域适应方法通常考虑采用什么方式将计算机合成领域的知识迁移到真实场景，从而实现领域适应，而不注重将计算机的什么知识进行迁移，简而言之，即只关注“如何适应”而没有关注“用什么实现适应”。不同领域的图像内容存在一定的相似性，例如，图片里面的类别大致是相同的。因此，用同一模型提取的不同领域数据集的相同类别的特征空间应该是相似的，类别中心也应该是一致的。但是，真实场景和计算机合成场景的数据集相同类别的特征分布往往会存在差异。因此，如何通过减小不同领本文档来自技高网...

【技术保护点】
1.一种基于交叉领域类别感知的领域适应语义分割方法，其特征在于，包括：/n将源数据集中源图像的风格通过风格迁移网络转换成目标数据集中目标图像的风格，得到源适应图像；其中，所述源适应图像和所述源图像的标签数据一致；/n将所述源适应图像依次经过第一特征提取网络和第一分类器进行处理，得到第一特征图和第一分类分数图；将所述目标图像依次经过第二特征提取网络和第二分类器进行处理，得到第二特征图和第二分类分数图；/n将所述第一特征图、所述第一分类分数图、所述第二特征图和所述第二分类分数图输入到交叉域类别感知模块；其中，所述交叉域类别感知模块包括两个交叉域类别感知器，所述交叉域类别感知器包括顺次相连的交叉域类...

【技术特征摘要】
1.一种基于交叉领域类别感知的领域适应语义分割方法，其特征在于，包括：
将源数据集中源图像的风格通过风格迁移网络转换成目标数据集中目标图像的风格，得到源适应图像；其中，所述源适应图像和所述源图像的标签数据一致；
将所述源适应图像依次经过第一特征提取网络和第一分类器进行处理，得到第一特征图和第一分类分数图；将所述目标图像依次经过第二特征提取网络和第二分类器进行处理，得到第二特征图和第二分类分数图；
将所述第一特征图、所述第一分类分数图、所述第二特征图和所述第二分类分数图输入到交叉域类别感知模块；其中，所述交叉域类别感知模块包括两个交叉域类别感知器，所述交叉域类别感知器包括顺次相连的交叉域类别中心生成器和类别注意力模块，分别通过两个所述交叉域类别感知器的所述交叉域类别中心生成器对所述第一特征图和所述第二特征图的类别中心进行调整，使所述第一特征图和所述第二特征图的类别中心靠近；并分别通过所述类别注意力模块对所述第一特征图和所述第二特征图的分类模糊特征点进行分布调整，分别得到第一注意力特征图和第二注意力特征图；
根据所述第一注意力特征图对所述源图像进行语义分割以及根据所述第二注意力特征图对所述目标图像进行语义分割。


2.根据权利要求1所述的基于交叉领域类别感知的领域适应语义分割方法，其特征在于，所述分别通过两个所述交叉域类别感知器的所述交叉域类别中心生成器对所述第一特征图和所述第二特征图的类别中心进行调整，具体包括：
对所述第一分类分数图和所述第二特征图做内积运算，得到所述第一特征图调整后的类别中心；
对所述第二分类分数图和所述第一特征图做内积运算，得到所述第二特征图调整后的类别中心。


3.根据权利要求2所述的基于交叉领域类别感知的领域适应语义分割方法，其特征在于，所述第一特征图调整后的类别中心表示为：



所述第二特征图调整后的类别中心表示为：



其中，表示所述源数据第i个类的所述类别中心，H表示特征高度，W表示特征宽度，j表示像素的序号，Gc1(F1)表示所述第一分类分数图，[Gc1(F1)]i,j表示所述第一分类分数图中第j个像素是否属于第i个类，是取值为1，否取值为0；[A2]j表示第j个像素在所述第二特征图中的特征分布；表示所述目标数据第i个类的所述类别中心，Gc2(F2)表示所述第二分类分数图，[Gc2(F2)]i,j表示所述第二分类分数图中第j个像素是否属于第i个类，是取值为1，否取值为0；[A1]j表示第j个像素在所述第一特征图中的特征分布。


4.根据权利要求1所述的基于交叉领域类别感知的领域适应语义分割方法，其特征在于，所述分别通过所述类别注意力模块对所述第一特征图和所述第二特征图的分类模糊特征点进行分布调整，分别得到第一注意力特征图和第二注意力特征图，具体包括：
将所述第一分类分数图作为注意力图，并对所述第一分类分数图和所述源数据调整后的所述类别中心做内积运算，得到第一类别注意力特征；将所述第一类别注意力特征和所述第一特征图进行通道相加，得到所述第一注意力特征图；
将所述第二分类分数图作为注意力图，并对所述第二分类分数图和所述目标数据调整后的所述类别中心做内积运算，得到第二类别注意力特征；将所述第二类别注意力特征和所述第二特征图进行通道相加，得到所述第二注意力特征图。


5.根据...

【专利技术属性】
技术研发人员：李仕仁，王金桥，朱贵波，胡建国，张海，赵朝阳，林格，谭大伦，
申请(专利权)人：杰创智能科技股份有限公司，
类型：发明
国别省市：广东;44