一种基于多分支特征融合的交互式图像分割方法技术

技术编号:41335511 阅读:19 留言:0更新日期:2024-05-20 09:55
本发明专利技术公开了一种基于多分支特征融合的交互式图像分割方法,具体为:首先构建基于多分支特征融合的深度学习网络模型;通过图像和对应分割对象的真实标签,得到模拟的用户点击;然后将图片、点击和迭代分割的输入分别送入不同分支,在编码阶段,按照交互信息递增顺序进行逐步融合;在网络深层中,使用自注意力与先验信息扩散模块,对分支的输入信息进行加强;在解码阶段,按照语义信息递增的顺序,对分支间的特征进行再次融合;基于两个辅助的分支损失函数和主损失函数,通过二阶段训练策略对深度学习网络模型进行训练;最后使用训练好的深度学习网络模型对图像进行分割。本发明专利技术能够更好理解用户意图并优化分割细节,提高了图像分割的效率和分割效果。

【技术实现步骤摘要】

本专利技术涉及交互式图像分割,特别是一种基于多分支特征融合的交互式图像分割方法


技术介绍

1、交互式图像分割是指通过用户在图像上的标注来分析用户意图,进而对图像上用户感兴趣的区域进行分割标注。与图像分割任务不同,交互式图像分割可以摆脱预定义的标签,对图像内任意对象进行分割,在自动驾驶和医学诊断中都发挥着重大作用。

2、现有交互式图像分割方法大多基于深度学习,但其对交互式图像分割中多种输入信息的处理方式普遍来自于早期的方法,即将用户点击与图像拼接后直接送入网络。随着近年来迭代式方法的提出,在图像和点击之外,网络中还会加入迭代分割来获取更多信息。交互式分割任务需要同时处理图像、点击和迭代分割三种输入,这三种输入对任务整体有着不同的作用,不加处理的直接送入网络难免会造成各自信息的稀释,且图片信息的广泛性、点击信息的稀疏性、迭代分割的易变性都对网络理解图像和用户意图造成了困难。

3、解决上述问题的关键在于对网络的结构进行重新设计,使网络模型符合交互式图像分割任务,合理的提取各种输入特征,并根据交互式图像分割任务阶段对这些特征彼此之间进行融本文档来自技高网...

【技术保护点】

1.一种基于多分支特征融合的交互式图像分割方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的基于多分支特征融合的交互式图像分割方法,其特征在于,步骤1中,所述深度学习网络模型由分别对应图片、点击、迭代分割的三个U型分支并行组成,三个U型分支分别为图像分支、点击分支、迭代分割分支。

3.根据权利要求2所述的基于多分支特征融合的交互式图像分割方法,其特征在于,所述图像分支包括第一编码部分、第一解码部分和第一分割头,其中:

4.根据权利要求3所述的基于多分支特征融合的交互式图像分割方法,其特征在于,所述点击分支包括第二编码部分、第二解码部分和第二分割...

【技术特征摘要】

1.一种基于多分支特征融合的交互式图像分割方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的基于多分支特征融合的交互式图像分割方法,其特征在于,步骤1中,所述深度学习网络模型由分别对应图片、点击、迭代分割的三个u型分支并行组成,三个u型分支分别为图像分支、点击分支、迭代分割分支。

3.根据权利要求2所述的基于多分支特征融合的交互式图像分割方法,其特征在于,所述图像分支包括第一编码部分、第一解码部分和第一分割头,其中:

4.根据权利要求3所述的基于多分支特征融合的交互式图像分割方法,其特征在于,所述点击分支包括第二编码部分、第二解码部分和第二分割头,其中:

5.根据权利要求4所述的基于多分支特征融合的交互式图像分割方法,其特征在于,所述迭代分割分支包括第三编码部分、第三解码部分和第三分割头,其中:

6.根据权利要求5...

【专利技术属性】
技术研发人员:王涛李志程
申请(专利权)人:南京理工大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1