图像分割模型的训练方法、图像分割方法及系统技术方案

技术编号:42779040 阅读:45 留言:0更新日期:2024-09-21 00:40
本发明专利技术提供了一种图像分割模型的训练方法、图像分割方法及系统,其属于图像分割技术领域,为了提高SAM模型对困难像素的分割性能,在SAM模型的训练中引入不确定性融合的困难区域学习策略,提升模型对不确定性知识的学习能力;通过引入局部困难区域生成策略,有效增强模型对于困难区域的学习能力;对于生成的困难区域,使用非线性投影映射将局部困难区域图的特征进行降维,使模型能够聚焦困难区域区分性特征的学习,并将具有相同困难区域但上下文信息不同的局部困难区域图像作为正负样本对,利用对比学习的方式计算得到基于困难区域的对比损失,来增强困难区域与背景区域的区分性,进一步提升图像分割的准确性、泛化性和鲁棒性。

【技术实现步骤摘要】

本专利技术属于图像分割,尤其是涉及一种图像分割模型的训练方法、图像分割方法及系统


技术介绍

1、本部分的陈述仅仅是提供了与本专利技术相关的
技术介绍
信息,不必然构成在先技术。

2、图像分割是计算机视觉领域中的重要研究方向,旨在将数字图像划分成若干个具有语义信息的区域,以实现对图像内容的理解和分析,图像分割在医学影像分析、自动驾驶系统、安防监控等领域具有广泛的应用前景。

3、近期视觉分割领域出现了一个名为sam(segment anything model)的通用分割大模型,该模型由图像编码器、提示编码器和掩码解码器三部分组成,通过由数据引擎得到的训练集进行模型训练而得到,有着zero-shot的能力,可以在不同下游任务中进行图像分割。尽管sam模型可以在不同下游任务中就进行图像分割,有着良好的通用性,但也面临着一系列的挑战和难点,具体表现在:虽然sam具有泛化性,但由于sam的训练数据集大部分是自然图像,对于其他领域的数据训练比较少,在特定下游任务上分割效果比较差,例如:在医学图像中的病灶分割中;sam对复杂场景中的难样本图像进行分本文档来自技高网...

【技术保护点】

1.一种图像分割模型的训练方法,其特征在于,包括:

2.如权利要求1所述的一种图像分割模型的训练方法,其特征在于,所述利用待训练的图像分割模型,获得分割的初始预测结果,具体为:基于样本图像,通过图像分割模型的图像编码器进行特征提取;基于提取的特征以及图像分割模型中提示编码器的输出,通过图像分割模型的掩码解码器,获得分割的初始预测结果。

3.如权利要求1所述的一种图像分割模型的训练方法,其特征在于,所述基于获得的不确定性估计图和熵图,通过融合获得困难概率图,具体为:对不确定估计图和熵图分别进行归一化处理,基于归一化处理后的不确定估计图和熵图,通过加权求和,获得困难概...

【技术特征摘要】

1.一种图像分割模型的训练方法,其特征在于,包括:

2.如权利要求1所述的一种图像分割模型的训练方法,其特征在于,所述利用待训练的图像分割模型,获得分割的初始预测结果,具体为:基于样本图像,通过图像分割模型的图像编码器进行特征提取;基于提取的特征以及图像分割模型中提示编码器的输出,通过图像分割模型的掩码解码器,获得分割的初始预测结果。

3.如权利要求1所述的一种图像分割模型的训练方法,其特征在于,所述基于获得的不确定性估计图和熵图,通过融合获得困难概率图,具体为:对不确定估计图和熵图分别进行归一化处理,基于归一化处理后的不确定估计图和熵图,通过加权求和,获得困难概率图。

4.如权利要求1所述的一种图像分割模型的训练方法,其特征在于,所述基于获得的困难概率图,生成基于高斯分布上下文的局部困难图像,具体为:基于困难概率图中每个像素点的概率值,采用加权平均的方式计算困难区域...

【专利技术属性】
技术研发人员:袭肖明高金阳刘瑞平宁一鹏任轶张淑涵张欣瑶张起浩李佳薇乔立山白诗佳刘新锋
申请(专利权)人:山东建筑大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1