一种基于深度学习的医学影像超分辨率重建方法技术

本发明专利技术提供一种基于深度学习的医学图像超分辨率重建的方法，将医学图像直接输入到系统中即可得到正确的超分辨率结果，通过大量的高质量医学图像数据来训练网络，采用在训练阶段引入了医学图像数据中病灶的位置信息，所述位置信息指病灶的中心坐标和尺寸或者病灶精细的边缘标注，通过加入这些先验信息，可以解决其他方法医学图像超分辨率网络训歪导致的超分辨率后的医学图像丢失了原本影像学意义的问题。

A Method of Super-resolution Reconstruction of Medical Images Based on Deep Learning

【技术实现步骤摘要】
一种基于深度学习的医学影像超分辨率重建方法
本专利技术属于计算机视觉
,尤其涉及一种基于深度学习的医学影像超分辨率重建方法。
技术介绍
随着深度学习的发展，计算机视觉和图像处理的水平在一些场景下正在不断突破传统方法的瓶颈。图像超分辨率作为一种计算机视觉中的重要技术，同样蓬勃发展。自然场景下基于深度学习的超分辨率方法层出不穷，也衍生出了多种不同的网络设计模式，网络深度不断增加，特征复用能力不断增强，不同尺度下的PSNR指标也在不断上涨，在视频监控、视频复原、数字高清以及卫星图像等实际场景中有着广泛的应用。由于医疗器械硬件的限制或者医疗影像拍摄时剂量的限制，超分辨率在医疗图像领域也有很大的发展空间，目前也有一些研究者将自然图像中的方法直接迁移到医学图像上，虽然在PSNR指标上和视觉效果好像也获得了一些提升，但是这中直接将自然图像中的方法迁移到更加严肃的医学图像上，并且不根据医学图像的具体特征进行相应调整的做法是存疑的。和自然图像不同，医学图像存在阳性区域(病灶)和阴性区域(正常组织)的问题，常规的自然图像图像超分辨率直接将图像分块训练的方法会由于阴阳数据极不平衡导致模型学歪到正常组织上去，这样会对具有影像学意义的医疗图像信息造成了破坏。并且PSNR作为一个图像全局信息信号层面的一个评价指标，仅用PSNR作为衡量医学图像超分辨率效果的评价指标也是不全面的，并不能评价真正重要的区域的超分辨率效果到底好不好，病灶区域的信号可能会被湮没在大量的正常组织区域信号中。
技术实现思路
本专利技术要解决的问题如
技术介绍
中所提，本专利技术提供一种基于深度学习的医学影像超分辨率重建方法，主要内容为：(1)针对医学图像特征，对医疗数据集的额外标注信息进行利用，提出新的数据集制作和训练策略，来解决阴阳样本不平衡的问题，后文将此方法简称为PN-samplebalance。(2)由于目前并没有一个公认有效的医疗图像超分辨率重建效果评价指标，本专利技术提出使用CAD系统结合PSNR联合评价医疗图像超分辨率重建效果的评价指标。CAD系统的引入可以弥补PSNR无法衡量超分辨率是否对医生真正关注的病灶区域进行了有效增强的缺陷。只有超分辨率技术向着正确的方向进行，PSNR的指标的提升也才具有意义。与现有技术相对，本专利技术具有以下明显优势：1、提出的PN-samplebalance方法可以有效的保证模型训练稳定性，保证阴阳区域都能够得到一个较好平衡的学习效果。2、提出的联合评价指标可以有效识别避免网络训歪时大部分阴性区域提升导致的整体PSNR提升的情况。能够确保医疗图像超分辨率效果的有效性。附图说明：图1为本专利技术流程图图2为本专利技术使用的3Ddense网络结构；图3为本专利技术设计的DenseBlock和Compressor的网络结构图；图4validationPSNR表现，左图为现有方法，右图为本专利技术1所提出的方法；图5为本专利技术2验证，CAD系统效果对比图；具体实施方式为了使得本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图1-5以及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本专利技术，并不用于限定本专利技术。此外，下面所述的本专利技术各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互结合。本专利技术提供了一套基于深度学习的医学图像超分辨率重建的方法和系统。将医学图像直接输入到系统中即可得到正确的超分辨率结果。通过大量的高质量医学图像数据来训练网络，其中和其他方法不同的是我们在训练阶段引入了医学图像数据中病灶的位置信息，但测试时不需要，符合实际需求。此处位置信息指病灶的中心坐标和尺寸或者病灶精细的边缘标注。通过加入这些先验信息，我们可以解决其他方法医学图像超分辨率网络训歪导致的超分辨率后的医学图像丢失了原本影像学意义的问题，我们称此方法为PN-samplebalance方法。并且提出CAD系统联合PSNR共同对医学影像超分辨率性能进行真正有效的评估，超分辨率方法应该在确保CAD系统性能提升的前提下提升PSNR才有意义，如果超分辨率后的数据导致CAD系统性能下降提升的PSNR也失去了意义，可能只是对一些无关区域进行了增强，而我们真正关心的病灶区域信息已经遭到了破坏，这也是PSNR的缺点，CAD系统的引入可以有效弥补这一缺点。本专利技术实施例中，步骤(1)主要包括：高质量医学图像的获取以及病灶位置信息的引入和处理。具体的，步骤(1-1)，收集高质量的医学图像数据集，并对数据进行清洗，将数据集中较差的数据删除掉。由于我们的任务是超分辨率重建，所以z、y、x三个方向的高分辨率是我们考虑的首要因素，我们一般选择三个方向的spacing均小于1mm为高质量数据。Spacing的含义是医学图像中一个体素所包含的实际物理空间中的空间信息，三个方向的spacing越小则实际大小的物体将由更多的体素组成，也就是分辨率更高。并且我们需要收集数据中病灶的位置信息作为我们训练时额外考虑的先验信息。步骤(1-2)，在收集好数据后我们要开始制作超分辨率训练数据集，为了更高的适用性，我们采用多尺度同时训练的方式，首先对高质量数据集在三个方向中的目标方向上进行相应尺度的下采样操作，再通过双三次插值方法或者三次样条法插值到原始分辨率，作为模拟的低分辨率的数据，和原始数据组成低分辨率(ILR)和高分辨率(IHR)数据对儿(data-pairs)。对病灶位置信息，我们通过Voxelcoords＝(Worldcoords-Origin)/Spacing来将真实的坐标信息转化为和三维图像匹配的voxel坐标信息。坐标根据具体的医疗图像的维度具体分为二维坐标(y，x)或三维坐标(z，y，x)。Voxelcoords为医疗图像矩阵中对应的坐标，Worldcoords为病灶的世界坐标系，origin为拍摄仪器的坐标原点，spacing则为上文提到的一个体素所包含的空间信息。我们需要记录和我们所使用的图像匹配的Voxelcoords，保存到内存中用于指导训练时的采样策略。步骤(2)主要包网络的训练和优化。具体的，步骤(2-1)不同于其他方法直接在训练前将数据切好块用于训练，我们采用位置信息指导的在线切块策略，在每次获取训练数据时根据人为设定的阴阳数据比例来产生随机数，假设我们认为阴阳比2∶1为一个合理的比值，则可以先产生随机数0，1，2，如果产生0，则去从步骤(1-2)中保存在内存中的阳性区域坐标信息中随机取一个坐标信息，并在空间每个维度中加入20个体素的扰动，将扰动后的坐标作为中心坐标，在步骤(1-2)中所述的低分辨率高分辨率数据对儿(ILR、IHRdata-pairs)中分别截取一个较大的数据块，此处“较大的数据块”指比正式训练时要大一些，增广后再切除多余的部分，防止训练数据在做完在线数据增广后导致边缘有padding的情况发生。经过对训练数据块进行：水平翻转，垂直翻转，前后翻转，平移，放缩，多角度旋转等随机增广操作后切除边缘多余部分到42*42*42(此处为3维数据，二维数据则为42*42)的尺寸用于网络训练。若随机数为1或者2，则在图像中随机有效位置采样，然后进行于阳性区域相同的切块增广操作，用于训练。步骤(2-2)，将步骤(1-2)中采样得到的满足阴阳比例本文档来自技高网...

【技术保护点】
1.一种基于深度学习的医学影像超分辨率重建方法，其特征在于，包括：步骤1、高质量医学图像的获取步骤(1‑1)、收集高质量的医学图像数据集，并对数据进行清洗；步骤(1‑2)，制作超分辨率训练数据集，采用多尺度同时训练的方式，首先对高质量数据集在三个方向中的目标方向上进行相应尺度的下采样操作，再通过双三次插值方法或者三次样条法插值到原始分辨率，作为模拟的低分辨率的数据，和原始数据组成低分辨率(ILR)和高分辨率(IHR)数据对儿(data‑pairs)，对病灶位置信息，通过Voxel coords＝(World coords‑Origin)/Spacing来将真实的坐标信息转化为和三维图像匹配的voxel坐标信息。坐标根据具体的医疗图像的维度具体分为二维坐标(y，x)或三维坐标(z，y，x)，Voxel coords为医疗图像矩阵中对应的坐标，World coords为病灶的世界坐标系，origin为拍摄仪器的坐标原点，spacing则为上文提到的一个体素所包含的空间信息；步骤2、病灶位置信息的引入和处理步骤(2‑1)、在训练前将数据切好块用于训练，采用位置信息指导的在线切块策略，在每次获取训练数据时根据人为设定的阴阳数据比例来产生随机数，假设阴阳比为2:1，则可以先产生随机数0，1，2，如果产生0，则去从步骤(1‑2)中保存在内存中的阳性区域坐标信息中随机取一个坐标信息，并在空间每个维度中加入20个体素的扰动，将扰动后的坐标作为中心坐标，在步骤(1‑2)中所述的低分辨率高分辨率数据对儿(ILR、IHRdata‑pairs)中分别截取一个较大的数据块；经过对训练数据块进行：水平翻转、垂直翻转、前后翻转、平移、放缩、多角度旋转随机增广操作后切除边缘多余部分到42*42*42的尺寸用于网络训练；若随机数为1或者2，则在图像中随机有效位置采样，然后进行于阳性区域相同的切块增广操作，用于训练；步骤(2‑2)、将步骤(1‑2)中采样得到的满足阴阳比例的数据块送入后续的网络中去进行训练，得到超分辨率后的重建的高分辨率图像(ISR)，将得到的ISR和作为金标准的IHR进行...

【技术特征摘要】
1.一种基于深度学习的医学影像超分辨率重建方法，其特征在于，包括：步骤1、高质量医学图像的获取步骤(1-1)、收集高质量的医学图像数据集，并对数据进行清洗；步骤(1-2)，制作超分辨率训练数据集，采用多尺度同时训练的方式，首先对高质量数据集在三个方向中的目标方向上进行相应尺度的下采样操作，再通过双三次插值方法或者三次样条法插值到原始分辨率，作为模拟的低分辨率的数据，和原始数据组成低分辨率(ILR)和高分辨率(IHR)数据对儿(data-pairs)，对病灶位置信息，通过Voxelcoords＝(Worldcoords-Origin)/Spacing来将真实的坐标信息转化为和三维图像匹配的voxel坐标信息。坐标根据具体的医疗图像的维度具体分为二维坐标(y，x)或三维坐标(z，y，x)，Voxelcoords为医疗图像矩阵中对应的坐标，Worldcoords为病灶的世界坐标系，origin为拍摄仪器的坐标原点，spacing则为上文提到的一个体素所包含的空间信息；步骤2、病灶位置信息的引入和处理步骤(2-1)、在训练前将数据切好块用于训...

【专利技术属性】
技术研发人员：刘蓬博，王瑾，朱青，
申请(专利权)人：北京工业大学，
类型：发明
国别省市：北京,11