一种临床图像中病变区域的检测和分类方法技术

本发明专利技术公开了一种临床图像中病变区域的检测和分类方法，包括对原始临床图像进行预处理，得到全局图像数据集；将得到的全局图像数据集输入基于检测图像中目标区域的卷积神经网络模型中进行训练，检测图像中的可能病变区域；将检测到的可能病变区域用矩形框框出，切割矩形框区域得到病变区域，并对切割后得到的病变区域进行归一化和数据增强，得到包含病变区域的局部图像数据集；将全局图像数据集和包含病变区域的局部图像数据集作为双模态输入到双流卷积神经网络中进行分类。本发明专利技术方法更好的利用临床图像的多模态信息，结合原始图像的全局信息和病变区域图像的局部信息，进而提高分类的准确率。

【技术实现步骤摘要】
一种临床图像中病变区域的检测和分类方法
本专利技术属于临床图像处理
，具体涉及一种临床图像中病变区域的检测和分类方法。
技术介绍
肿瘤是危害生命健康的一大杀手，具有较高的死亡率，恶性肿瘤的临床表现因其所在的器官、部位以及发展程度不同而不同，恶性肿瘤早期多无明显症状，即便有症状也常无特异性，等患者出现特异性症状时，肿瘤常已属于晚期。通常对患者的临床表现和体征进行综合分析，结合实验室检查和影像学、细胞病理学检查做出明确诊断，以便拟定治疗方案和评估预后。但目前仍缺乏理想的特异性强的早期诊断方法，尤其对深部肿瘤的早期诊断更为困难。目前，临床检查结合病理活检是目前确认病变组织学类型的金标准，如果不进行病理检查，医师无法通过肉眼进行鉴定腺瘤和息肉。临床研究表明，很多恶性肿瘤是从已经存在的腺瘤转化而来，因此尽早发现腺瘤对早期治疗有良好的预后，发现并切除肿瘤可以避免不必要的活检，并且还可以减少活检手术引起的并发症，进一步降低死亡率。近年来，随着深度学习方法的发展，许多学者已将深度学习应用于临床医学图像的检测和分类。卷积神经网络(CNN)是一种经典的深度学习模型，它通过模拟人类视觉系统的识别过程来提取下层边缘纹理的局部特征，并提取深层中的高维特征，具有较高的泛化性能。但是大多数当前深度学习架构通常只考虑单模态，而不能充分利用临床图像的多模态信息。
技术实现思路
本专利技术所要解决的技术问题是针对上述现有技术的不足，提供一种临床图像中病变区域的检测和分类方法，可实现自动检测临床图像中的病变区域，并结合病变区域和初始临床图像的全局信息和局部信息，利用双流卷积神经网络准确的分类疾病。为实现上述技术目的，本专利技术采取的技术方案为：一种临床图像中病变区域的检测和分类方法，包括：步骤1、对原始临床图像进行预处理，先去除原始临床图像中多余图像部分和噪声，再进行归一化和数据增强，得到全局图像数据集；步骤2、将步骤1得到的全局图像数据集输入基于检测图像中目标区域的卷积神经网络模型(RCNN)中进行训练，检测图像中的可能存在的病变区域；步骤3、将步骤2检测到的可能存在的病变区域用矩形框框出，切割矩形框区域得到病变区域，并对切割后得到的病变区域进行归一化和数据增强，得到包含病变区域的局部图像数据集；步骤4、将步骤1得到的全局图像数据集和步骤3得到的包含病变区域的局部图像数据集作为双模态输入到双流卷积神经网络中进行分类。为优化上述技术方案，采取的具体措施还包括：上述的步骤1包括：步骤101、利用灰度阈值分割法，去除图像中的白边和过渡曝光的部分；步骤102、根据图像垂直方向和水平方向的灰度投影直方图，获取后续算法所需要区域的长和宽，根据得到的所需要区域长和宽截取所需要的区域，以去除所需要的区域之外的多余图像部分；步骤103、使用低通滤波器，去除图像信号中的噪声；步骤104、通过插值将图像标准化为相同尺寸，减少计算的复杂度；步骤105、将标准化后的图像归一化到0-1，便于后续检测和分类网络更快速寻找最优解；步骤106、利用三种数据增强的方式，分别是翻转，旋转，水平和垂直偏移图像，扩充现有的图像数据集，得到全局图像数据集。上述的步骤105使用如下公式对图像归一化：其中，y是输出像素值，x是输入像素值，Minvalue是临床图像像素最小值，Maxvalue是临床图像像素最大值。上述的步骤2所述基于检测图像中目标区域的卷积神经网络模型(RCNN)包括基于Resnet网络架构的卷积神经网络、特征金字塔(FPN)网络和区域生成网络(RPN)；所述特征金字塔网络使用具有横向连接的自顶向下架构，从单一规模的输入构建网络功能金字塔，获取不同尺寸的特征图，更完整保留图像信息；所述区域生成网络采用滑动窗口扫描整幅图像，目的是寻找图像中所有可能存在病变的区域。上述的步骤2包括：步骤201、根据基于Resnet网络架构的卷积神经网络和特征金字塔网络，提取图像中的多尺度特征；步骤202、根据提取的多尺度特征，结合区域生成网络，获得图像中所有可能存在病变区域的提取框；步骤203、利用非最大抑制方法筛选步骤202生成目标区域，利用基于检测图像中目标区域的卷积神经网络模型对筛选后的目标区域进行回归和分类，最终判断出可能存在的病变区域。上述的基于检测图像中目标区域的卷积神经网络模型的损失函数为：L＝Lcls+Lbox+Lmask其中，L是损失函数，Lcls是回归框的分类损失值，Lbox是回归框的分类损失值，Lmask是病变区域的损失值。上述的步骤3所述切割矩形框区域得到病变区域，并对切割后得到的病变区域归一化和数据增强，包括以下步骤：步骤301、根据步骤2检测到的可能存在的病变区域矩形框的位置，裁剪得到含有病变的区域，即病变区域；步骤302、将病变区域图像通过插值标准化为相同尺寸，减少计算的复杂度；步骤303、将标准化后的图像归一化到0-1，便于后续检测和分类网络更快速寻找最优解；步骤304、利用三种数据增强的方式，分别是翻转，旋转，水平和垂直偏移图像，扩充现有的图像数据集，得到包含病变区域的局部图像数据集。上述的步骤4包括：步骤401、将全局图像数据集输入到双流卷积神经网络中的一路卷积神经网络完成卷积计算，得到全局特征图；步骤402、将包含病变区域的局部图像数据集作为另一流输入到双流卷积神经网络完成卷积运算，得到局部特征图；步骤403、连接双流卷积神经网络两流输出的特征图，作为最终特征输入到双流卷积神经网络的终端的全连接层，并得到最终的分类结果。上述的双流卷积神经网络，根据Resnet的残差网络结合数据集特点修改所得，损失函数为Softmax。上述的双流卷积神经网络为resnet50网络，resnet50网络中，网络装载初始权重，resnet50利用残差网络结构提取图像特征，其中，残差网络的公式如下：R(x)＝F(x)+x其中，R(x)代表残差块的输入，F(x)代表左侧主路径的输出，x代表输入；所述双流卷积神经网络的损失函数计算公式为：其中，yk是输入的预测概率值，θk是网络训练权重超参数,x是输入。本专利技术具有以下有益效果：(1)本专利技术的方法可实现基于深度学习下临床图像数据自动检测和分类，既可以避免费时的手工启发式学习，还能避免不必要的活检，减少由于活检手术引起的并发症(2)本专利技术方法充分利用了临床图像多模态信息，双模态分类网络结合了全局特征和局部特征，从而提高了模型的泛化能力和包含病变信息的临床图像的分类准确率。附图说明图1是本专利技术方法的流程框图。图2是本专利技术应用在临床内窥镜肠道图像检测和分类肠道病变的结构框图。图3是以内窥镜肠道图像为例，经步骤101-步骤103预处理后和原始图像对比的一种本文档来自技高网...

【技术保护点】
1.一种临床图像中病变区域的检测和分类方法，其特征在于，包括：/n步骤1、对原始临床图像进行预处理，先去除原始临床图像中多余图像部分和噪声，再进行归一化和数据增强，得到全局图像数据集；/n步骤2、将步骤1得到的全局图像数据集输入基于检测图像中目标区域的卷积神经网络模型中进行训练，检测图像中的可能存在的病变区域；/n步骤3、将步骤2检测到的可能存在的病变区域用矩形框框出，切割矩形框区域得到病变区域，并对切割后得到的病变区域进行归一化和数据增强，得到包含病变区域的局部图像数据集；/n步骤4、将步骤1得到的全局图像数据集和步骤3得到的包含病变区域的局部图像数据集作为双模态输入到双流卷积神经网络中进行分类。/n

【技术特征摘要】
1.一种临床图像中病变区域的检测和分类方法，其特征在于，包括：
步骤1、对原始临床图像进行预处理，先去除原始临床图像中多余图像部分和噪声，再进行归一化和数据增强，得到全局图像数据集；
步骤2、将步骤1得到的全局图像数据集输入基于检测图像中目标区域的卷积神经网络模型中进行训练，检测图像中的可能存在的病变区域；
步骤3、将步骤2检测到的可能存在的病变区域用矩形框框出，切割矩形框区域得到病变区域，并对切割后得到的病变区域进行归一化和数据增强，得到包含病变区域的局部图像数据集；
步骤4、将步骤1得到的全局图像数据集和步骤3得到的包含病变区域的局部图像数据集作为双模态输入到双流卷积神经网络中进行分类。


2.根据权利要求1所述的一种临床图像中病变区域的检测和分类方法，其特征在于，所述步骤1包括：
步骤101、利用灰度阈值分割法，去除图像中的白边和过渡曝光的部分；
步骤102、根据图像垂直方向和水平方向的灰度投影直方图，获取图像中包含病变区域的矩形框位置、长和宽，根据得到的矩形框长和宽截取所需要的区域，以去除所需要的区域之外的多余图像部分；
步骤103、使用低通滤波器，去除图像信号中的噪声；
步骤104、通过插值将图像标准化为相同尺寸，减少计算的复杂度；
步骤105、将标准化后的图像归一化到0-1，便于后续检测和分类网络更快速寻找最优解；
步骤106、利用三种数据增强的方式，分别是翻转，旋转，水平和垂直偏移图像，扩充现有的图像数据集，得到全局图像数据集。


3.根据权利要求2所述的一种临床图像中病变区域的检测和分类方法，其特征在于，所述步骤105使用如下公式对图像归一化：



其中，y是输出像素值，x是输入像素值，Minvalue是临床图像像素最小值，Maxvalue是临床图像像素最大值。


4.根据权利要求1所述的一种临床图像中病变区域的检测和分类方法，其特征在于，步骤2所述基于检测图像中目标区域的卷积神经网络模型包括基于Resnet网络架构的卷积神经网络、特征金字塔网络和区域生成网络；
所述特征金字塔网络使用具有横向连接的自顶向下架构，从单一规模的输入构建网络功能金字塔，获取不同尺寸的特征图，更完整保留图像信息；
所述区域生成网络采用滑动窗口扫描整幅图像，目的是寻找图像中所有可能存在病变的区域。


5.根据权利要求4所述的一种临床图像中病变区域的检测和分类方法，其特征在于，所述步骤2包括：
步骤201、根据基于Resnet网络架构的卷积神经网络和特征金字塔网络，提取图像中的多尺度特征；
步骤202、根据提取的多尺度特征，...

【专利技术属性】
技术研发人员：汪彦刚，王凯妮，陈阳，周光泉，
申请(专利权)人：南京图格医疗科技有限公司，
类型：发明
国别省市：江苏;32