System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 用于断层成像的基于生成对抗网络的无损图像压缩模型制造技术_技高网

用于断层成像的基于生成对抗网络的无损图像压缩模型制造技术

技术编号:40804326 阅读:3 留言:0更新日期:2024-03-28 19:28
一种新的医学图像生成方法从厚切片计算机断层扫描(CT)图像合成为薄切片CT图像作为输入。首先,在图像配准之后,通过最大化五个或多于五个连续薄切片CT图像的逐像素强度来获得第一厚切片CT图像。第二,将该获得的厚切片CT图像馈送到采用编码器‑解码器架构的生成器模块中,其中在解码成多个薄切片CT图像之前,将每个厚切片图像编码到低维嵌入空间中。第三,鉴别器聚焦于鉴别原始真实薄切片图像和合成薄切片图像。该生成器和鉴别器之间的对抗机制使得鉴别器的输出为生成器提供网络参数的有效梯度更新,以不断提高该生成器合成更高质量薄切片图像的能力,并进而提高该鉴别器的鉴别能力。

【技术实现步骤摘要】
【国外来华专利技术】

本专利技术涉及高分辨率计算机断层摄影,具体来说,涉及用于断层成像的基于生成对抗网络的无损图像压缩模型


技术介绍

1、信息技术取得的进步允许收集和存储大规模高分辨率计算机断层扫描(ct)图像,这为采用最近开发的基于深度学习神经网络的方法来辅助医疗诊断铺平了道路。ct图像的质量对于成功开发基于深度学习神经网络算法来诊断肝癌至关重要。切片厚度小于或等于1mm的薄ct图像用于诊断,而切片厚度大于或等于5mm的厚ct图像用于在图像存档和通信系统(pacs)中长期存储,以节省存储空间,尽管它们是从薄切片中获得的。这不可避免地导致显著的信息损失,尤其是沿着空间方向,即z轴。因此,pacs中采用的存储方案导致体绘制的质量差。在图1中,与图1d至1f的薄ct图像相比,当观察图1a至图1c的ct厚体积图像时,可以观察到明显的失真或混叠。在图1b和图1e中示出了从左到右的视图,在图1c和图1f中示出了从前到后的视图。在pacs中保存ct图像时,红框中的区域清楚地表示从薄切片到厚切片的失真或混叠。

2、为了减轻失真和混叠问题,研究人员提出了几种实现虚拟ct切片生成的方法,其中包括dong等人(2014);[2]bae等人(2018);[14]isola等人(2017);[17]kudo等人(2019)。例如,[8]dong等人(2014)提出srcnn用于实现单幅图像的超分辨率生成。srcnn首先放大低分辨率图像以获得与基准真实高分辨率图像相同大小的插值图像,然后从插值图像和基准真实图像中学习非线性映射。受到resnet[12]he等人(2016)的启发,[2]bae等人(2018)提出了一种基于全残差cnn的2.5d图像生成模型,以减少切片厚度对ct扫描诊断的影响。图像到图像转换的成功[14]isola等人(2017)通过将厚和薄ct图像视为两个域,鼓励研究人员从相应的厚ct图像中生成薄ct图像。受生成对抗网络(gan)([10]goodfellow等人(2014))学习数据分布的强大能力的启发,[17]kudo等人(2019)提出了一种超分辨率模型来合成虚拟薄ct切片间隔。尽管这些方法在生成质量方面已经获得了理想的性能,但是它们仍然受到一些限制。首先,这些方法需要成对的厚和薄ct图像,这在真实世界的场景中可能是无法获取的。第二,这些方法在沿z轴方向的精细修复方面仍然表现不佳。第三,在[17]kudo等人(2019);[14]isola等人(2017)中的超分辨率生成模型具有复杂网络架构,该复杂网络架构具有两个鉴别器或两个gan,这需要足够多样的ct扫描来实现令人满意的性能。

3、gan([10]goodfellow等人(2014))由于其生成高质量图像的惊人能力,引起了具有各种背景的研究人员的广泛关注。如[35]yi等人(2019)中所述,gan已成功用于医学图像分析,其中任务范围从图像重建[31]wolterink等人(2017);[5][6]chen等人(2018);[30]wang等人(2018)、医学图像合成[9]frid-adar等人(2018);[[38]zhang等人(2018);[15]jin等人(2018)、分段[32]xue等人(2018);[37]zhang等人(2017);[33]yang等人(2017)、分类[27]ren等人(2018);[21]madani等人(2018)到检测[5]chen and konukoglu(2018);[28]schlegl等人(2017)。医学图像合成可以分为无条件合成、跨模态合成和条件合成。无条件合成是最简单的图像生成方案。它只将随机噪声馈入gan的生成器,其包括([26]radford等人(2015)),wgan([1]arjovsky等人(2017))和pggan([16]karras等人(2018))。dcgan和wgan都支持高达256x 256的超分辨率生成,pggan可以生成分辨率为512x 512或1024x 1024的图像。在相邻医学图像之间的变化很小的假设下,利用上述三种gan模型,可以容易地从随机噪声中获得逼真的超分辨率。

4、[9]frid-adar等人(2018)采用三个独立的生成器来合成具有特定类别特异性肝脏病变(即囊肿、转移瘤和血管瘤)的ct图像。已经证实,将真实的和合成的ct图像与皮肤损伤相结合可以提高分类性能。此外,[25]qin等人(2020)利用gan来生成皮肤损伤作为数据增强,以提高皮肤癌诊断的性能。关于跨模态医学图像合成,该目标的典型框架是基于pix2pix([14]isola等人(2017)))或cyclegan([39]zhu等人(2017)),其中医学图像的两种模态被视为源域和目标域。例如,maspero等人(2018)提出了一种基于pix2pix的骨盆mr图像合成ct生成方法。[34]yang等人(2020)提出了一种无监督的mr-to-ct合成模型,将结构化约束引入到cyclegan中。[36]ying等人(2019)提出x2ct-gan从两个正交的x射线生成ct图像,这允许从2d输入合成体积扫描。存在实现其他种类的跨模态转换的研究成果,例如从ct到pet([4]ben-cohen等人(2019))、从mri到pet([24]pan等人(2018))、从高光谱组织学到h&e([3])bayramoglu等人(2017)等。尽管这些跨模态合成方法已经获得了显著的性能,但是它们通常涉及两个方向的转换,并且图像分辨率不增也不降。通过对分割图、纹理、位置等施加约束的条件合成在不常见的条件下生成图像。例如,在合成肺部ct/mr图像时,肺结节应触及肺部边界([15]jin等人(2018))。[11]guibas等人(2017)使用两个gan由视网膜眼底图像生成分割掩模,并由生成的掩模生成照片级逼真图像。文章[23]mok和chung(2019)使用cgan来合成更多样化的脑部mr图像,其中病变以病变分割掩模为条件。除了这些应用,研究人员还试图从厚的ct切片中生成薄的ct切片。文章[2]bae等人(2018)提出了一种全残差卷积网络来实现2.5d超分辨率生成,其中亚像素混洗(sub-pixel shuffle)被设计用于创建高分辨率图像。文章[11]kudo等人(2019)提出了一个基于cgan的模型来生成薄片,该模型有两个鉴别器,分别用于鉴别真实的薄片和厚切片,以及虚拟的薄片和厚切片。虽然通过将厚切片和薄切片视为源域和目标域,也可以使用pix2pxi或cyclegan实现厚切片到薄切片的生成,但这两种方法都涉及双向转换,这是不必要的。此外,[20]liu等人(2020)提出了一种多流渐进上采样方案,用于由厚ct图像合成薄ct图像,其中多流负责学习肺内外区域。


技术实现思路

1、为了克服现有技术的缺点,本专利技术使用端到端厚到薄切片生成框架用于ct成像。具体地,其实现了从厚断层生成高质量的薄断层图像,并从压缩的低质量图像恢复接近原始的放射图像,这使得能够增强定量分析,进而有可能提高其诊断能力。本文档来自技高网...

【技术保护点】

1.一种用于CT成像以从压缩的低质量厚放射图恢复接近原始薄放射图的端到端厚到薄切片生成计算机框架,包括:

2.根据权利要求1所述的薄切片生成计算机框架,其中,通过组合逐像素重建损失、内容损失和深度估计损失的损失函数来提高生成器的质量。

3.根据权利要求2所述的薄切片生成计算机框架,其中逐像素重建损失使得能够保留精细细节,同时避免图像模糊,内容损失使得能够保留高级语义信息,以及深度估计损失用于量化所述真实厚切片图像和所生成的合成厚切片图像之间在像素级和语义级的差异。

4.根据权利要求1所述的薄切片生成计算机框架,其中,通过在图像配准之后最大化多个连续薄切片CT图像的逐像素强度来获得第一厚切片CT图像,然后将所获得的厚CT图像馈送到所述生成器中以合成薄CT图像。

5.根据权利要求1所述的薄切片生成计算机框架,其中,所述多个连续薄切片是五个连续薄切片图像。

6.根据权利要求1所述的薄切片生成计算机框架,其中,所述生成器包括由适于学习高级语义特征的三个卷积层构成的第一级、由适于学习鉴别特征的九个连续残差块构成的第二级以及由负责恢复精细细节的三个去卷积层构成的第三级。

7.根据权利要求1所述的薄切片生成计算机框架,还包括特征提取器模块,其在所述合成的薄CT图像上实施尽可能接近真实薄CT的特征的特征,以通过量化真实厚切片断层图像和从合成薄切片断层图像导出的图像之间的高级语义信息的差异来减少不期望的模糊生成。

...

【技术特征摘要】
【国外来华专利技术】

1.一种用于ct成像以从压缩的低质量厚放射图恢复接近原始薄放射图的端到端厚到薄切片生成计算机框架,包括:

2.根据权利要求1所述的薄切片生成计算机框架,其中,通过组合逐像素重建损失、内容损失和深度估计损失的损失函数来提高生成器的质量。

3.根据权利要求2所述的薄切片生成计算机框架,其中逐像素重建损失使得能够保留精细细节,同时避免图像模糊,内容损失使得能够保留高级语义信息,以及深度估计损失用于量化所述真实厚切片图像和所生成的合成厚切片图像之间在像素级和语义级的差异。

4.根据权利要求1所述的薄切片生成计算机框架,其中,通过在图像配准之后最大化多个连续薄切片ct图像的逐像素强度来获得第一厚切片ct图像,然...

【专利技术属性】
技术研发人员:司徒伟基赵允恒雷照盛鲁建亮袁孟峰杨良河
申请(专利权)人:港大科桥有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1