使用多对比度和深度学习改进医学图像的质量制造技术

提供了改进诊断成像和功能成像的方法，通过以下步骤：使用医学成像仪获得对象的至少两个输入图像，其中每个输入图像包括不同的对比度；使用经适当编程的计算机、使用非局部均值(NLM)滤波生成输入图像的多个副本，其中对象的每个输入图像副本包括不同的空间特征；使用医学成像仪获得对象的至少一个参考图像，其中参考图像包括与对象的输入图像不同的成像特征；使用经适当编程的计算机上的数据扩充来训练深度网络模型以自适应地调整模型参数，从而从初始集合的输入图像和参考图像来近似参考图像，并且目标为输出其他集合的低SNR低分辨率图像的改进质量的图像以供由医生分析。

Using multi contrast and deep learning to improve the quality of medical images

A method for improving diagnostic imaging and functional imaging is provided by using a medical imager to obtain at least two input images of an object, each of which includes a different contrast; using a properly programmed computer and using NLM filtering to generate multiple copies of the input image, each of which includes a different contrast Spatial features; obtaining at least one reference image of an object using a medical imager, wherein the reference image includes imaging features different from the input image of the object; training a depth network model using data expansion on a properly programmed computer to adaptively adjust model parameters so as to approximate the reference image from the input image and the reference image of the initial set, and An image of improved quality marked for outputting other sets of low SNR low resolution images for analysis by a doctor.

【技术实现步骤摘要】
【国外来华专利技术】使用多对比度和深度学习改进医学图像的质量
本专利技术涉及医学成像。更具体地，本专利技术涉及使用多对比度成像、多边滤波器和深度学习方法来改进医学图像的质量。
技术介绍
对于医学图像降噪，已经提出了多个方法，包括高斯滤波、小波滤波和非局部均值(NLM)算法，其中实验已显示出NLM(可能组合小波)是优越的方法。然而，所有这些方法仍共有一些诸如针对不同图像的参数调整的依赖性之类的缺点。在一个实例中，提出的方法使用多对比度图像中的冗余和多对比度图像的关系作为图像降噪的先验。相关工作成果已用于组合CMOS传感器和相机的模糊且有噪声的图像对。进一步的实现方式将群稀疏度表示用于图像降噪，群稀疏度表示也使用多对比度信息，但是群稀疏度不被用于增强高SNR对比度以改进噪声更大的对比度。在与多对比度图像的冗余有关的另一概念中，展示了用于欠采样多对比度图像的压缩感测重构的正则化。在深度学习研究中已经有了最近的发展。具体而言，在具有深度残差网络的用于图像识别的卷积神经网络(CNN)和使用CNN的超分辨率方面的最近进展已显示出改进图像分辨率的巨大前景。在最近5年中，深度学习技术已经增强了计算机视觉、特别是在图像识别方面的性能。深度残差网络(ResNet)方法已被验证为用于卷积神经网络(CNN)的优越网络结构，因为其旁路连接有助于CNN的性能。CNN的这些进步为计算机视觉算法提供了超越人类的识别能力。然而，模型能够被更好地训练用于医学成像是不明朗的，因为存在可用于训练的少得多的数据集，并且由于模型中参数的数量，深度网络通常需要数千或数百万样本。此外，由于医学图像的固有属性，因为医学图像与识别照片内的常见物体不同，不清楚什么网络结构最适合用于医学图像。最后，不完全知晓如何确保模型不引入图像中没有的伪影或不缺失模型未从训练数据见到的病理细节。超分辨率(SR)CNN方法被用于生成图像和(多帧)视频的超分辨率。在一个演示中，利用(来自公共基准测试数据集的)91个图像，SRCNN模型可以实现与在大数据集(具有数百万个子图像的图像网)上训练的模型相比良好且相似的性能。这是因为SRCNN模型大小(大约10K)不如用于其他图像识别方法的模型大。此外，可以将模型见到的训练样本计数为较小的局部补块(patch)，这些较小的局部补块产生用于91个完整图像的成千上万个补块。另外，相对较少的样本已经能够捕获自然图像补块的足够的可变性。SR工作成果尝试实现针对美学感知的更好性能，但是不解决在保留医学图像中的细节和病理的同时要避免的需要。动脉自旋标记(ASL)MRI使用标记图像与对照图像之间的信号差来量化血液灌注。它是一种强大的MRI技术，并且越来越多地应用于神经系统、脑血管和精神疾病的研究、学习和临床诊断。然而，ASL灌注图由于其信号相减通常遭受低SNR。如果对于临床将ASL扫描重复三次或更多次以实现可接受的图像质量，则可以提高SNR。然而这种扫描的重复显著地增加测试时间。最近提出的多延迟ASL(eASL)可以补偿各种渡越延迟的影响以得到灌注测量的更好的灵敏度。然而，由于时间约束，获取不同的延迟进一步增加时间成本并且导致甚至更低的SNR和分辨率。需要的是改进具有多对比度的医学图像的图像降噪方法而不是生成超分辨率的方法。专利技术概述为了满足本领域的需要，提供了缩短用于诊断成像和功能成像的成像时间的方法，该方法包括：使用医学成像仪获得对象的至少两个输入图像，其中每个输入图像具有不同的对比度；使用经适当编程的计算机、使用非局部均值(NLM)滤波生成对象的输入图像的多个副本，其中对象的每个输入图像副本包括不同的空间特征；使用医学成像仪获得对象的至少一个参考图像，其中对象的至少一个参考图像包括与对象的输入图像不同的成像特征；使用经适当编程的计算机上的数据扩充训练深度网络模型以自适应地调整模型参数，从而从初始集合的输入图像来近似参考图像；并且输出对象的改进质量的图像以供由医生分析。一旦设置了模型参数，可在无需采集参考图像的情况下获取改进质量的图像。根据本专利技术的一方面，医学成像仪包括磁共振成像仪(MRI)或计算断层摄影(CT)扫描仪。在本专利技术的另一方面，数据扩充包括裁剪、旋转或翻转对象的输入图像。在本专利技术的进一步的方面，与对象的输入图像不同的对象的至少一个参考图像的成像特征包括：更高的SNR、更高的分辨率、更少的伪影、不同的图像对比度、使用CT成像仪获得的图像或使用MRI成像仪获得的图像。在本专利技术的另一方面，数据集包括动脉自旋标记(ASL)数据集、MRI数据集或者CT数据集。根据本专利技术的一个方面，数据扩充包括：对用于数据扩充的对象的输入图像的多个补块训练深度网络模型，其中对象的输出图像从各个输入图像补块重新组装。在本专利技术的另一方面，多对比度信息被用作用于NLM的正则化以实现改进的正则化的降噪以及过度平滑避免。在本专利技术的进一步的方面，数据扩充进一步包括：将对象的输入图像和来自非线性滤波器的输出用作用于深度网络模型的输入，其中对象的输入图像从动脉自旋标记(ASL)和大脑的其他对比度图像采集，其中对ASL图像使用NLM滤波，并且使用其他对比度图像进行正则化，其中对于对象的全部输入图像并对从NLM滤波器创建的图像使用数据扩充，其中全部经增强的数据被拟合到深度网络模型中。在此，深度网络模型包括：将其他图像的多对比度补块用于与对象的输入图像的卷积和去卷积，这避开了使用整个数据集来实现残差学习。在本专利技术的又另一方面，输入图像和参考图像来自不同的医学成像仪，其中对象的输入图像包括用于预测对象的CT图像的对象的MRI图像。根据本专利技术的一方面，对象的输入图像、对象的输入图像的多个副本和对象的至少一个参考图像包括数据集。在本专利技术的进一步的方面，经训练的深度网络被应用于对任何相对低质量的医学图像进行改进和降噪。附图说明图1示出了根据本专利技术的一个实施例的用于改进的图像目标对比度的成像处理算法的流程图。图2A-2B示出了根据本专利技术的一个实施例的用于ASL降噪的改进的训练的流程图(图2A)和应用算法的流程图(图2B)。具体实施方式本专利技术提供了用于改进医学图像的图像质量的方法。本专利技术提供了采用原始图像数据和非线性滤波器结果的新的端到端深度学习框架，该深度学习框架包括具有不同降噪级别的经降噪的原始图像，并添加具有相似解剖信息、具有不同对比度的多对比度图像数据，以及生成分辨率和SNR方面具有更高质量的改进的图像数据。本专利技术的端到端框架实现了更好的性能和更快的速度。在一个实施例中，本专利技术改进了通常具有低SNR和低分辨率的MRI成像(例如，动脉自旋标记(ASL)MRI图像)的图像质量。本专利技术通过使用来自具有相同解剖结构但是具有不同对比度的其他图像的多对比度信息，并且将深度学习技术用作有效且高效的方法来改进图像质量。图1示出了本专利技术的一个实施例的流程图，其包括使用医学成像仪获得感兴趣的对象的图像，其中该图像是输入到适当编程的计算机的噪声相对较大的、低分辨率的图像。在本文档来自技高网...

【技术保护点】
1.一种缩短用于诊断成像和功能成像的成像时间的方法，包括：/na)使用医学成像仪获得对象的至少两个输入图像，其中每个所述输入图像包括不同的对比度；/nb)使用经适当编程的计算机、使用非局部均值(NLM)滤波生成所述对象的所述输入图像的多个副本，其中所述对象的每个所述输入图像副本包括不同的空间特征；/nc)使用所述医学成像仪获得所述对象的至少一个参考图像，其中所述对象的所述至少一个参考图像包括与所述对象的所述输入图像不同的成像特征；/nd)使用所述经适当编程的计算机上的数据扩充来训练深度网络模型以自适应地调整模型参数，从而从初始集合的所述输入图像来近似所述参考图像；以及/ne)输出所述对象的改进质量的图像以供由医生分析。/n

【技术特征摘要】
【国外来华专利技术】20170331 US 15/475,7601.一种缩短用于诊断成像和功能成像的成像时间的方法，包括：
a)使用医学成像仪获得对象的至少两个输入图像，其中每个所述输入图像包括不同的对比度；
b)使用经适当编程的计算机、使用非局部均值(NLM)滤波生成所述对象的所述输入图像的多个副本，其中所述对象的每个所述输入图像副本包括不同的空间特征；
c)使用所述医学成像仪获得所述对象的至少一个参考图像，其中所述对象的所述至少一个参考图像包括与所述对象的所述输入图像不同的成像特征；
d)使用所述经适当编程的计算机上的数据扩充来训练深度网络模型以自适应地调整模型参数，从而从初始集合的所述输入图像来近似所述参考图像；以及
e)输出所述对象的改进质量的图像以供由医生分析。


2.根据权利要求1所述的方法，其中所述医学成像仪包括磁共振成像仪(MRI)或计算断层摄影(CT)扫描仪。


3.根据权利要求1所述的方法，其中所述数据扩充从由以下各项组成的组选择：裁剪、旋转或翻转所述对象的所述输入图像。


4.根据权利要求1所述的方法，其中与所述对象的所述输入图像不同的所述对象的所述至少一个参考图像的所述成像特征从由以下各项组成的组选择：更高的SNR、更高的分辨率、更少的伪影、不同的图像对比度、使用CT成像仪获得的图像和使用MRI成像仪获得的图像。


5.根据权利要求1所述的方法，其中所述数据集从由以下各项组成的组选择：动脉自旋标记(ASL)数据集、MRI数据集和CT数据集。


6.根据权利要求1所述的方法，其中...

【专利技术属性】
技术研发人员：G·扎哈丘克，E·龚，J·M·保利，
申请(专利权)人：小利兰·斯坦福大学托管委员会，
类型：发明
国别省市：美国;US