一种基于深度学习的医学影像增强方法技术

本发明专利技术涉及一种基于深度学习的医学影像增强方法，属于图像增强技术领域。利用U‑Net网络作为图像增强方法的网络结构，在网络的训练目标中加入能够使网络对选定的感兴趣区域进行增强的软差异对比度损失，并且给网络提供具有医生标注的医学图像数据按照软差异对比度损失这个训练目标对网络进行训练，从而使得U‑Net网络能够对输入的医学图像进行重建并对选定的感兴趣区域进行检测与图像增强。本发明专利技术提出的方法与基于直方图均衡的方法相比，能够更加稳定准确地找到感兴趣的标注区域位置并进行增强；与基于形态学的方法相比，对关注区域的增强效果更加清晰明显，实现快速、准确、可靠的医学影像区域增强的功能。

A method of medical image enhancement based on deep learning

【技术实现步骤摘要】
一种基于深度学习的医学影像增强方法
本专利技术涉及一种基于深度学习的医学影像增强方法，属于图像增强

技术介绍
医学影像，如计算机断层扫描CT、MRI等，是目前发现和诊断疾病最常用和最主要的工具之一。然而，医学影像中所显现的很多区域，如肿瘤病灶等往往比较模糊，不容易清晰的辨别。这给医学上的图像检测和诊断带来了较大的困难，尤其对于缺少经验的初级医生和自动诊断工具来说。通过图像增强手段对医学影像中的进行增强处理，使得特定区域变得更加明显，这对医学应用的检测和诊断，如是肿瘤的早期检测与诊断，具有重要的意义。现有的针对CT、MRI等医学影像的图像增强方法主要是利用传统的图像增强技术，方法主要有基于直方图均衡化的方法和基于形态学变换的方法两种。直方图均衡技术将原始图像的灰度直方图从比较集中的某个灰度区间变成在全部灰度范围内的均匀分布，即将灰度拉伸成更为平坦的直方图，从而使得图像灰度分布更为均衡，以便达到增强图像的目的。基于形态学的医学图像增强方法，主要是利用top-hap变换来对图像进行处理，增强图像边缘纹理等高频信息的同时，抑制图像中无关的低频信息。此外，也有技术通过结合这两种方法来实现图像增强，试图获得更好的增强效果。现有方法中，无论是基于直方图均衡的方法，还是基于形态学变换的方法，都旨在提高整幅图像的对比度，通过对全局图像纹理的对比度进行增强，来提高图像的清晰程度。但由此造成这些方法都着重处理全局信息而不是针对影像中的特定区域进行处理，因此图像增强后虽然整体清晰度有所提升，但需要被关注的区域相比周边区域的对比度并没有得到增强，医生所关注的组织器官区域的模糊程度并未得到改善。此外，对影像全局进行处理，通常会导致灰阶的消失，从而可能带来一些有价值的图像细节消失的问题。
技术实现思路
本专利技术的目的在于针对现有处理医疗图片的增强方法存在无法保持输入图像中无关区域的原貌的同时还能提升所关注区域的清晰与辨识度的技术缺陷，提出了一种基于深度学习的医学影像增强方法,应用于医学影像上，对感兴趣的区域的进行预测并对感兴趣区域的对比度进行增强。例如在肝部CT图像上，对于图像中的肝脏区域以及上面可能存在的肿瘤部分进行着重的增强。所述基于深度学习的医学影像病变区域增强方法依托于图像重建和分割能力的深度网络；所述深度网络为U-Net网络，包括由下采样块组成的编码器和由上采样块组成的解码器；其中，编码器用于捕获图像中的整个上下文信息，解码器用以恢复图像中特定关注区域的精确定位。所述基于深度学习的医学影像增强方法，包括如下步骤：步骤1)数据采集：使用CT/MRI医学图像采集设备，根据医学影像的成像需求以及成像设备的使用说明调整设备参数，扫描产生医学图像，再将扫描得到的医学图像按照切片进行提取，形成2D图像数据集；其中，2D图像数据集包括2D图像数据训练集和2D图像数据测试集；其中，2D图像数据训练集用来做模型训练，其数量记为N；2D图像数据测试集用来做增强，其数量记为M；步骤2)数据标注：专业医生对步骤1)中提取到的2D图像数据训练集中每一张2D图像的感兴趣区域进行标注，产生与2D图像一一对应的用于训练图像的标注数据，这个标注数据将被用来监督U-Net网络的学习；步骤3)模型训练：将步骤1)采集到的2D图像数据训练集输入U-Net网络，利用2D图像数据训练集中的2D图像以及步骤2)中得到的标注数据对U-Net网络进行训练，具体包括如下子步骤：步骤3-1)初始化选取图像序号i为1；步骤3-2)选取步骤1)采集得到的2D图像数据训练集中的第i张2D图像输入U-Net网络，利用U-Net网络中编码器对第i张2D图像进行编码，产生编码后的特征图i；步骤3-3)U-Net网络的解码器对特征图i进行解码，生成重构图像i；步骤3-4)将步骤2)中第i张2D图像的标注数据沿着所有方向等距扩张标注数据的标定区域后取得其边缘，即对该标注数据分别进行膨胀及取反操作得到“膨胀图”和“取反图”，再将“膨胀图”和“取反图”进行异或操作得到“边缘图”i；其中，“膨胀图”采用一个由1填充的矩阵膨胀内核与标注数据进行卷积得到；步骤3-5)将步骤3-3)中生成的重构图像i分别与第i张2D图像的标注数据以及步骤3-4)中得到的“边缘图”i进行矩阵点乘，分别产生增强区域图Ia和增强边缘图Ib，然后计算增强区域图Ia的灰度均值和增强边缘图Ib的灰度均值并做差，该差值即为区域对比损失LRC，该区域对比损失LRC表达了网络对图像在标注数据给定的区域内进行增强的程度；步骤3-6)对步骤3-2)选取的图像数据以及步骤3-3)中产生的重构图像进行逐像素的差值计算，选取其中差值大于C的像素点进行累加并求均值得到软差异度损失LSD，C是一个人为给定的差异度参数；步骤3-7)将步骤3-5)中得到的区域对比损失LRC和步骤3-6)中得到的软差异度损失LSD代入公式(1)，计算求得软差异区域对比度损失函数，并利用随机梯度下降法对U-Net网络的参数进行优化，得到训练好的U-Net网络；Ltotal＝λ1×LSD+λ2×LRC，(1)其中，λ1是软差异度损失的比例系数；λ2是区域对比损失的比例系数，Ltotal是计算得到的软差异区域对比度损失函数的值；步骤3-8)判断i是否等于N，若不等于，则i＝i+1，再跳至步骤3-2)，否则若等于，则跳至步骤4)；步骤4)增强图像：利用步骤3)中训练好的U-Net网络对步骤1)中取得的2D图像数据测试集进行增强，包括以下子步骤：步骤4-1)逐一遍历步骤1)中取得的用来做增强的2D图像数据测试集，将数据输入进训练好的U-Net网络；步骤4-2)U-Net网络的编码器对输入的图像数据进行编码，将图像中存在的空间和语义信息进行提取并编码，得到图像的特征图；步骤4-3)U-Net网络的解码器将步骤4-2)得到的特征图进行解码，完成对图像的增强；由于U-Net网络已经在步骤3)中完成了训练，它的解码器能够对图像中的感兴趣区域进行预测，并针对这些区域进行图像增强。有益效果本专利技术提出的一种基于深度学习的医学影像增强方法，与现有医学图像增强方法相比，具有如下有益效果：1.所述方法与基于直方图均衡的方法相比，由于有软差异损失的限定，能够产生更少的噪声以及无关区域的变化，更具有针对性地增强图像的感兴趣区域；而基于直方图均衡的方法由于是将图像中所有的区域一视同仁地进行灰度值的映射，会在很多无关的区域造成大量噪声和细节损失，影响图像的整体效果；2.所提方法与基于形态学方法相比，所提方法具有针对性，对关注区域的增强效果更加清晰明显，由于经过了提前给定划定了感兴趣区域的标注数据的监督训练，能够更加稳定准确地找到感兴趣的区域位置，从而对其进行增强；而形态学的方法由于主要关注图像原本的差异分布，通过拉大这种分布来全局提高图像的清晰度，不能针对特定区域进行增强；3.所本文档来自技高网...

【技术保护点】
1.一种基于深度学习的医学影像增强方法，其特征在于：包括如下步骤：/n步骤1)数据采集：使用CT/MRI医学图像采集设备，根据医学影像的成像需求以及成像设备的使用说明调整设备参数，扫描产生医学图像，再将扫描得到的医学图像按照切片进行提取，形成2D图像数据集；/n其中，2D图像数据集包括2D图像数据训练集和2D图像数据测试集；且2D图像数据训练集的数量记为N；/n步骤2)数据标注：专业医生对步骤1)中提取到的2D图像数据训练集中每一张2D图像的感兴趣区域进行标注，产生与2D图像一一对应的用于训练图像的标注数据，这个标注数据将被用来监督U-Net网络的学习；/n步骤3)模型训练：将步骤1)采集到的2D图像数据训练集输入U-Net网络，利用2D图像数据训练集中的2D图像以及步骤2)中得到的标注数据对U-Net网络进行训练，输出训练好的U-Net网络，具体包括如下子步骤：/n步骤3-1)初始化选取图像序号i为1；/n步骤3-2)选取步骤1)采集得到的2D图像数据训练集中的第i张2D图像输入U-Net网络，利用U-Net网络中编码器对第i张2D图像进行编码，产生编码后的特征图i；/n步骤3-3)U-Net网络的解码器对特征图i进行解码，生成重构图像i；/n步骤3-4)将步骤2)中第i张2D图像的标注数据沿着所有方向等距扩张标注数据的标定区域后取得其边缘，即对该标注数据分别进行膨胀及取反操作得到“膨胀图”和“取反图”，再将“膨胀图”和“取反图”进行异或操作得到“边缘图”i；/n步骤3-5)将步骤3-3)中生成的重构图像i分别与第i张2D图像的标注数据以及步骤3-4)中得到的“边缘图”i进行矩阵点乘，分别产生增强区域图I...

【技术特征摘要】
1.一种基于深度学习的医学影像增强方法，其特征在于：包括如下步骤：
步骤1)数据采集：使用CT/MRI医学图像采集设备，根据医学影像的成像需求以及成像设备的使用说明调整设备参数，扫描产生医学图像，再将扫描得到的医学图像按照切片进行提取，形成2D图像数据集；
其中，2D图像数据集包括2D图像数据训练集和2D图像数据测试集；且2D图像数据训练集的数量记为N；
步骤2)数据标注：专业医生对步骤1)中提取到的2D图像数据训练集中每一张2D图像的感兴趣区域进行标注，产生与2D图像一一对应的用于训练图像的标注数据，这个标注数据将被用来监督U-Net网络的学习；
步骤3)模型训练：将步骤1)采集到的2D图像数据训练集输入U-Net网络，利用2D图像数据训练集中的2D图像以及步骤2)中得到的标注数据对U-Net网络进行训练，输出训练好的U-Net网络，具体包括如下子步骤：
步骤3-1)初始化选取图像序号i为1；
步骤3-2)选取步骤1)采集得到的2D图像数据训练集中的第i张2D图像输入U-Net网络，利用U-Net网络中编码器对第i张2D图像进行编码，产生编码后的特征图i；
步骤3-3)U-Net网络的解码器对特征图i进行解码，生成重构图像i；
步骤3-4)将步骤2)中第i张2D图像的标注数据沿着所有方向等距扩张标注数据的标定区域后取得其边缘，即对该标注数据分别进行膨胀及取反操作得到“膨胀图”和“取反图”，再将“膨胀图”和“取反图”进行异或操作得到“边缘图”i；
步骤3-5)将步骤3-3)中生成的重构图像i分别与第i张2D图像的标注数据以及步骤3-4)中得到的“边缘图”i进行矩阵点乘，分别产生增强区域图Ia和增强边缘图Ib，然后计算增强区域图Ia的灰度均值和增强边缘图Ib的灰度均值并做差，该差值即为区域对比损失LRC，该区域对比损失LRC表达了网络对图像在标注数据给定的区域内进行增强的程度；
步骤3-6)对步骤3-2)选取的图像数据以及步骤3-...

【专利技术属性】
技术研发人员：刘峡壁，郑中枢，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：北京;11