System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种基于Transformer的无监督OCT跨域分割方法和系统及设备技术方案_技高网

一种基于Transformer的无监督OCT跨域分割方法和系统及设备技术方案

技术编号:41281950 阅读:5 留言:0更新日期:2024-05-11 09:32
一种基于Transformer的无监督OCT跨域分割方法和系统及设备,基于Transformer架构,通过端到端的学习,结合学习率预热方法,利用源域图像和标签训练分割网络;通过自训练策略,利用教师网络对目标域图像进行语义分割,得到目标域图像数据的伪标签;采用类别交叉熵损失函数对分割模型进行调优,实现了任意OCT设备图像的自适应跨域分割模型,提高了跨域分割模型的泛化性能。

【技术实现步骤摘要】

本专利技术涉及图像处理,具体涉及一种基于transformer的无监督oct跨域分割方法和系统及设备。


技术介绍

1、随着人工智能技术的发展,深度学习成为oct图像智能分割的新方法。oct图像的精准分割,能够量化视网膜层间的几何特征,实现视网膜层间厚度的全面分析,提高视网膜疾病诊断的精度和速度,并降低对医生主观经验的依赖。

2、oct设备种类众多,不同oct设备获取的图像数据存在明显差异,而现有深度学习模型均是基于特定的oct设备图像进行学习和训练,只能针对单一设备图像具有较好的分割效果,当模型被应用到其它oct设备图像时,模型性能会明显下降。因此oct图像的跨域分割方法逐渐成为研究热点。迁移学习被广泛应用于跨域分割问题,网络在大型通用数据库上进行预训练,然后在较小的特定数据集上进行微调,但仍然需要大量的手动标注数据,并需要重新训练模型。生成对抗网络通过特征对齐,可以实现不同oct图像之间的跨域分割,但效果与设备相关,因此无法达到任意oct设备均具备良好的跨域效果。


技术实现思路

1、为了解决现有技术存在缺陷,本专利技术提供一种基于transformer的无监督oct跨域分割方法和系统及设备,以实现任意oct设备图像的精准跨域分割,提高跨域分割模型的泛化性能。

2、本专利技术采用的技术解决方案是:一种基于transformer的无监督oct跨域分割方法,包括:

3、利用源域图像和标签训练分割网络,并将原始图像变换到尺度空间作为模型输入,以减少不同设备图像尺寸不一致带来的影响;

4、可选地,针对源域图像数据,采用基于不同类别像素占比进行加权的分类交叉熵损失函数,:

5、;

6、其中,n为该像素点所属类别像素点总个数,类别像素点越少对应权重越大,从而优化像素点较少的类别的分割效果。

7、可选地,采用学习率预热策略,并在训练开始时线性预热学习率:

8、;

9、可选地,通过自训练策略,利用教师网络,对目标域图像进行语义分割,为目标域图像数据生成伪标签,其更新公式如下:

10、

11、其中,为伪标签生成网络对应参数,表示第t步分割网络对应参数,表示学习率。

12、可选地,对于目标域图像数据,利用类别交叉熵损失函数,用伪标签代替来计算损失函数:

13、,

14、,

15、

16、可选地,对跨域分割模型进行实现与调优,更新公式如下:

17、

18、其中,表示像素对应标签,表示分割网络预测的像素属于不同类别的概率。

19、第二方面,本专利技术提供一种基于transformer的无监督oct跨域分割系统,包括:

20、源域图像训练模块,用于将源域图像和标签一一对应,并输入网络训练,提取具有域不变的图像特征,得到分割网络模型;

21、目标域图像的伪标签生成模块,与所述源域图像训练模块连接,用于:

22、采用自训练策略,利用教师网络,对目标域图像进行语义分割,得到目标域图像的伪标签;

23、跨域分割模型调优模块,与所述目标域图像的伪标签生成模块连接,用于计算分割网络预测的像素属于不同类别的概率并更新网络。

24、第三方面,本专利技术提供一种电子设备,包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现所述的基于transformer的无监督oct跨域分割方法。

25、本专利技术的有益效果是:本专利技术提供了一种基于transformer的无监督oct跨域分割方法和系统及设备,基于transformer架构,通过端到端的学习,结合学习率预热方法,利用源域图像和标签训练分割网络;通过自训练策略,利用教师网络对目标域图像进行语义分割,得到目标域图像数据的伪标签;采用类别交叉熵损失函数对分割模型进行调优,实现了任意oct设备图像的自适应跨域分割模型,提高了跨域分割模型的泛化性能。

本文档来自技高网...

【技术保护点】

1.一种基于Transformer的无监督OCT跨域分割方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的方法,其特征在于,所述的步骤(1)中利用源域图像和标签训练分割网络具体为:利用源域图像和标签训练分割网络,并将原始图像变换到尺度空间作为模型输入,减少不同设备图像尺寸不一致带来的影响。

3.根据权利要求2所述的方法,其特征在于,所述的源域图像的图像数据,采用基于不同类别像素占比进行加权的分类交叉熵损失函数:

4.根据权利要求1所述的方法,其特征在于,所述的步骤(1)中学习率线性预热具体为:采用学习率预热策略,并在训练开始时线性预热学习率:。

5.根据权利要求1所述的方法,其特征在于,所述的步骤(2)中通过自训练策略,利用教师网络对目标域图像进行语义分割,获得目标域图像数据的伪标签的更新公式如下:;

6.根据权利要求1所述的方法,其特征在于,所述的步骤(2)中目标域图像数据,利用类别交叉熵损失函数,用伪标签代替来计算损失函数:

7.根据权利要求1所述的方法,其特征在于,所述的步骤(3)中采用基于不同类别像素占比进行加权的交叉熵损失函数,对分割模型进行调优的更新公式如下:

8.一种基于Transformer的无监督OCT跨域分割系统,其特征在于,包括:

9.一种电子设备,包括存储器、处理器以及存储在所述的存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述的处理器执行所述的计算机程序时实现权利要求1所述的基于Transformer的无监督OCT跨域分割方法。

...

【技术特征摘要】

1.一种基于transformer的无监督oct跨域分割方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的方法,其特征在于,所述的步骤(1)中利用源域图像和标签训练分割网络具体为:利用源域图像和标签训练分割网络,并将原始图像变换到尺度空间作为模型输入,减少不同设备图像尺寸不一致带来的影响。

3.根据权利要求2所述的方法,其特征在于,所述的源域图像的图像数据,采用基于不同类别像素占比进行加权的分类交叉熵损失函数:

4.根据权利要求1所述的方法,其特征在于,所述的步骤(1)中学习率线性预热具体为:采用学习率预热策略,并在训练开始时线性预热学习率:。

5.根据权利要求1所述的方法,其特征在于,所述的步骤(2)中通过自训练策略,利用教师网络...

【专利技术属性】
技术研发人员:王媛媛许强岳丽娟谭左平范蔡业沈梅晓
申请(专利权)人:温州医科大学附属眼视光医院
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1