基于像素级语义关联的小样本语义分割算法制造技术

本发明专利技术涉及计算机视觉中的语义分割领域，更具体地，涉及到一种基于像素级语义关联的小样本语义分割算法

【技术实现步骤摘要】
Semantic Segmentation With Prototype Alignment
’
,in 2019 IEEE/CVF International Conference on Computer Vision(ICCV),Seoul,Korea(South):
[0009]IEEE,Oct.2019,pp.9196
–
9205.doi:10.1109/ICCV.2019.00929.
[0010][4]C.Zhang,G.Lin,F.Liu,J.Guo,Q.Wu,and R.Yao,
‘
Pyramid Graph Networks With Connection Attentions for Region
‑
Based One
‑
Shot Semantic Segmentation
’
,2019,pp.9587
–
9595.Accessed:Jan.17,2022.[Online].Available:https://openaccess.thecvf.com/content_ICCV_2019/html/Zhang_Pyramid_Graph_Networks_With_Connection_Attentions_for_Region
‑
Based_One
‑
Shot_Semantic_ICCV_2019_paper.html
[0011][5]H.Wang,X.Zhang,Y.Hu,Y.Yang,X.Cao,and X.Zhen,
‘
Few
‑
Shot Semantic Segmentation with Democratic Attention Networks
’
,Cham,A.Vedaldi,H.Bischof,T.Brox,and J.
‑
M.Frahm,Eds.,in Lecture Notes in Computer Science,vol.12358.Cham:Springer International Publishing,2020,pp.730
–
746.doi:10.1007/978
‑3‑
030
‑
58601
‑
0_43.
[0012][6]J.Min,D.Kang,and M.Cho,
‘
Hypercorrelation Squeeze for Few
‑
Shot Segmentation
’
,2021,pp.6941
–
6952.Accessed:Jan.17,2022.[Online].Available:https://openaccess.thecvf.com/content/ICCV2021/html/Min_Hypercorrelation_S queeze_for_Few
‑
Shot_Segmentation_ICCV_2021_paper.html
[0013][7]Q.Fan,W.Pei,Y.
‑
W.Tai,and C.
‑
K.Tang,
‘
Self
‑
Support Few
‑
Shot Semantic Segmentation
’
.arXiv,Jul.23,2022.Accessed:Sep.27,2022.[Online].Available:http://arxiv.org/abs/2207.11549
[0014][8]L.Yang,W.Zhuo,L.Qi,Y.Shi,and Y.Gao,
‘
Mining Latent Classes for Few
‑
Shot Segmentation
’
,2021,pp.8721
–
8730.Accessed:Jan.17,2022.[Online].
[0015]Available:
[0016]https://openaccess.thecvf.com/content/ICCV2021/html/Yang_Mining_Latent_Cl asses_for_Few
‑
Shot_Segmentation_ICCV_2021_paper.html
[0017][9]C.Lang,G.Cheng,B.Tu,and J.Han,
‘
Learning What Not to Segment:A New Perspective on Few
‑
Shot Segmentation
’
.arXiv,Mar.28,2022.Accessed:Jun.29,
[0018]2022.[Online].Available:http://arxiv.org/abs/2203.07615

技术实现思路

[0019]针对现有技术中存在的缺陷，本专利技术的目的是学习一种语义分割网络，该网络可以在样本数量极少的情况下，学习到对新类别的分割能力，并进一步提升模型的泛化性，利用类别不相交的基础数据中的知识提高新类别的分割性能
。
[0020]为达到以上目的，本专利技术采用的技术方案是：一个像素语义关联网络，该网络在有限的训练图像中，除了目标对象外，还在给定的标记数据中挖掘辅助监督的新类信息，这被称为语义相关和目标暗知识
。
具体来说，语义相关性是从支持
‑
查询图像坐标对中得到的，显示了一对坐标之间的语义等价性，而目标暗知识被提出来定义基础图像中每个像素属于新类的概率
。
具体来说，本专利技术的整体流程如下：
[0021](1)
像素级语义关联图的获取
[0022]输入同类别的支持图像和查询图像各一张，通过
ResNet
网络构建支持特征和查询特征，并通过语义关联模块计算支持
‑
查询图像对的像素级相似度图，这里称为语义关联图
。
[0023](2)
语义关联标签的生成
[0024]比较数据集中的支持
‑
查询
ground truth
，若两像素属于同一类别，则在语义关联标签的对应位置置1，否则置
0。
[0025](3)
像素级语义关联网络的训练
[0026]利用步骤
(2)
中得到的语义关联标签作为网络的辅助监督进行训练
。
[0027](4)
挖掘潜在的新类别暗知识
[0028]通过将基础图像和支持图像一起输入像素级语义关联网络，一本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于像素级语义关联的小样本语义分割算法，包括以下步骤：
(1)
像素级语义关联图的获取输入同类别的支持图像和查询图像各一张，通过
ResNet
网络构建支持特征和查询特征，并通过语义关联模块计算支持
‑
查询图像对的像素级相似度图，这里称为语义关联图
。(2)
语义关联标签的生成比较数据集中的支持
‑
查询
ground truth
，若两像素属于同一类别，则在语义关联标签的对应位置置1，否则置
0。(3)
像素级语义关联网络的训练利用步骤
(2)
中得到的语义关联标签作为网络的辅助监督进行训练
。(4)
挖掘潜在的新类别暗知识通过将基础图像和支持图像一起输入像素级语义关联...

【专利技术属性】
技术研发人员：周圆，王斐然，陈克然，
申请(专利权)人：天津大学，
类型：发明
国别省市：