System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 基于感知掩码解耦的医学图像染色归一化方法技术_技高网
当前位置: 首页 > 专利查询>云南大学专利>正文

基于感知掩码解耦的医学图像染色归一化方法技术

技术编号:41254172 阅读:4 留言:0更新日期:2024-05-11 09:14
本发明专利技术提供一种基于感知掩码解耦的医学图像染色归一化方法,获取原始医疗图像数据集并提取其图像深层特征;对深层特征进行解耦,提取内容特征及样式特征并确定内容相似矩阵;根据相似性矩阵和目标域的样式特征得到转换的样式特征。同时将两个域的内容特征转换为互为目标域的内容特征;通过上述特征确定目标域转换为源域及源域转换为目标域的深层特征;输入到各自的全连接层学习鉴别器生成感知掩码;得到转换后的病理图像深层特征;将该特征输入解码器获得最终的染色图像;将该图像作为原始图像重复上述过程重构回原始图像并计算损失。利用了全连接层去学习鉴别器生成的特征,得到感知掩码去引导生成对应域的图像,提高染色归一化图像的质量。

【技术实现步骤摘要】

本专利技术属于病理组织图像处理,特别是涉及一种基于感知掩码解耦的医学图像染色归一化方法


技术介绍

1、随着深度学习技术的不断进步,人工智能系统在医疗领域得到越来越广泛的运用。这些系统能够快速地协助医生进行病情诊断,为医疗流程提供了便捷性。在病理学领域,大规模的病理图像分析对于深入研究疾病的机制和治疗方法具有重要的价值。病理学家通过不同染色方法来突显组织结构和细胞特征,从而进行疾病诊断。然而,当前深度学习模型对于数据的颜色有较高的一致性要求。不同染色方法所引起的颜色差异如果输入到深度学习模型中,可能会影响模型的稳健性,进而影响其对疾病的诊断能力。为了解决这一问题,染色归一化变得尤为重要。染色归一化的目标是消除不同样本之间的染色差异,使得图像在颜色和对比度方面具有一致性。这样的处理能够提升深度学习模型在多样性病理图像上的适应性,使其能够更精准地进行疾病的诊断。同时,染色归一化还能为疾病研究提供可靠的图像分析工具,促进医学研究的深入发展。

2、在染色过程中,涉及许多因素,导致不同医疗中心、不同试验甚至同一实验室在不同时间段内的样本之间难以保持一致性。这些因素包括样本制备方法、染色方案(如使用的溶液温度、固定特性)以及成像设备特性等。这种变异性会影响组织病理学图像的颜色和强度。尽管人类可以轻松理解图像中染色颜色的变化,但这种变化会对计算机辅助诊断产生负面影响。因此,在进行定量分析之前,有必要对输入图像进行预处理。对此,国内外学者为解决病理图像颜色差异问题,提出了多种颜色归一化方法。

3、其中,部分现有技术尝试直接应用自然场景图像的颜色增强技术来归一化数字病理图像,如直方图均衡和直方图标准化等。然而,这些方法没有充分考虑病理图像的特点,其效果往往受制于两个图像直方图的相似性,难以取得令人满意的归一化结果。另一类更为有效的病理图像归一化方法基于颜色反卷积的染色分离原理。由于病理图像的颜色是由多种染色剂混合而成,颜色反卷积算法充分利用了这一特性,将图像转换到光密度空间进行处理,从而分离出独立的染色颜色分量。然后,将目标图像的染色颜色分量应用于输入图像。不过,这种方法需要事先通过实验或计算来确定反卷积参数,且同一参数可能不适用于来自不同平台的病理图像。近年来,学者开始应用深度学习模型进行图像编码或特征提取,其中,专利cn111564205a报道了一种病理图像染色归一化方法及装置,其通过对病理图像和目标域图像进行解耦获取内容编码和风格编码,再通过单生成器基于上述编码生成归一化图像,其模型相较于单生成器循环训练,多了一个编码器,模型会相对复杂,增加训练时间;并且该模型根据风格对深度内容特征进行自适应归一化,使其全局统计数据匹配。虽然有效,但没有探索浅层特征,也不在局部考虑特征统计,因此它们容易产生非自然的输出和不愉快的局部扭曲。虽然也有人研究单生成器,但其由于其目标是未知的,没办法完全限定其往目标域转换,因此可能会导致图像信息的损失而导致归一化质量下降;而目前的双生成器模型过于复杂,导致训练时长过长;在实际应用中效率低下。


技术实现思路

1、本专利技术实施例的目的在于提供一种基于感知掩码解耦的医学图像染色归一化方法,以时间在较小计算量下解决现有技术染色不同的数据对模型分类导致明显差异的问题,并通过鉴别器的感知掩码引导生成器,进一步提高染色归一化图像的质量。

2、为解决上述技术问题,本专利技术所采用的技术方案是,一种基于感知掩码解耦的医学图像染色归一化方法,具体包括以下步骤:

3、s1、获取原始医疗图像数据集;

4、s2、提取医学图像数据的图像深层特征;

5、s3、对获取的图像深层特征进行解耦,输入内容提取器中提取源域和目标域的内容特征;并获取源域和目标域的样式特征;

6、s4、通过s3获取的特征确定内容相似矩阵;

7、s5、基于内容特征和内容相似矩阵确定互为目标域的样式特征;

8、s6、通过互为目标域的内容特征和样式特征确定互为目标域的深层特征;并输入到各自的全连接层学习鉴别器生成感知掩码;得到转换后的病理图像深层特征;

9、s7、将s6获取的特征输入解码器获得最终的染色图像;

10、s8、将s7获得的染色图像通过s2-s7的过程重构回原始图像,计算总体损失、重建损失、一致性损失、感知掩码损失、感知损失和对抗损失。

11、进一步地,所述原始图像数据集包括两种颜色模式的h&e染色病理图像。

12、进一步地,所述s2具体步骤如下:将源域a病理图像ia和目标域b图像ib输入权重共享编码器e提取源域a、目标域b的图像深层特征fa、fb:

13、fa=e(ia),fb=e(ib)。

14、进一步地,所述s3具体步骤如下:

15、将源域a、目标域b的病理图像ia、ib的图像深层特征fa、fb进行解耦,分别输入到内容提取器cf中,获得源域a、目标域b的内容特征ca、cb,将图像深层特征与得到的内容特征相减,获得最终的源域、目标域的样式特征sa、sb

16、ca=cf(ia),sa=fa-cf(ia)

17、cb=cf(ib),sb=fb-cf(ib)。

18、进一步地,所述s4具体步骤如下:

19、对获得的源域a的内容特征ca与目标域b的内容特征cb进行点积,获得最终的内容相似矩阵sima2b、simb2a

20、sima2b=softmax(ca·cbt),simb2a=softmax(cb.cat)

21、其中,t为转置符号。

22、进一步地,所述s5具体步骤如下:基于内容特征和内容相似矩阵确定目标域的样式特征;

23、通过内容相似矩阵sima2b、simb2a对样式特征sa、sb进行转换得到样式特征sa2b和sb2a;

24、sa2b=sb·sima2b,sb2a=sa·sb2a

25、将内容特征ca和cb进行内容转换得到互为目标域的内容特征ca2b和cb2a;

26、ca2b=wbca,cb2a=wacb

27、其中,wb是使内容a域转换为b域线性参数权重,wa内容b域转换为a域线性参数权重。

28、进一步地,所述s6具体步骤如下:

29、转换之后的内容特征ca2b、cb2a和转换之后的样式特征sa2b、sb2a进行相加,得到最终a域转b域的深层特征fa2b、b域转a域的深层特征fb2a;

30、fa2b=sa2b+ca2b,fb2a=sb2a+cb2a

31、将fa2b、fb2a输入到各自的全连接层学习鉴别器,得到转换后的病理图像深层特征fa2b′和fb2a′;

32、fa2b′=fa2b*denseb(fa2b),fb2a′=fb2a*densea(fb2a)

33、其中,denseb为学习b域鉴别器的全连接层,densea为学习a本文档来自技高网...

【技术保护点】

1.一种基于感知掩码解耦的医学图像染色归一化方法,其特征在于,具体包括以下步骤:

2.根据权利要求1所述的基于感知掩码解耦的医学图像染色归一化方法;其特征在于,所述原始图像数据集包括两种颜色模式的H&E染色病理图像。

3.根据权利要求1所述的基于感知掩码解耦的医学图像染色归一化方法,其特征在于,所述S2具体步骤如下:将源域A病理图像IA和目标域B图像IB输入权重共享编码器E提取源域A、目标域B的图像深层特征FA、FB:

4.根据权利要求1所述的基于感知掩码解耦的医学图像染色归一化方法,其特征在于,所述S3具体步骤如下:

5.根据权利要求1所述的基于感知掩码解耦的医学图像染色归一化方法,其特征在于,所述S4具体步骤如下:

6.根据权利要求1所述的基于感知掩码解耦的医学图像染色归一化方法,其特征在于,所述S5具体步骤如下:基于内容特征和内容相似矩阵确定目标域的样式特征;

7.根据权利要求1所述的基于感知掩码解耦的医学图像染色归一化方法,其特征在于,所述S6具体步骤如下:

8.根据权利要求1所述的基于感知掩码解耦的医学图像染色归一化方法,其特征在于,所述S7具体步骤如下:

9.根据权利要求1所述的基于感知掩码解耦的医学图像染色归一化方法,其特征在于,所述S8具体步骤如下:

...

【技术特征摘要】

1.一种基于感知掩码解耦的医学图像染色归一化方法,其特征在于,具体包括以下步骤:

2.根据权利要求1所述的基于感知掩码解耦的医学图像染色归一化方法;其特征在于,所述原始图像数据集包括两种颜色模式的h&e染色病理图像。

3.根据权利要求1所述的基于感知掩码解耦的医学图像染色归一化方法,其特征在于,所述s2具体步骤如下:将源域a病理图像ia和目标域b图像ib输入权重共享编码器e提取源域a、目标域b的图像深层特征fa、fb:

4.根据权利要求1所述的基于感知掩码解耦的医学图像染色归一化方法,其特征在于,所述s3具体步骤如下:

5.根据权利...

【专利技术属性】
技术研发人员:何婧唐丹王萍张镇蔡静雯
申请(专利权)人:云南大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1