多视角信息协作的肾脏良恶性肿瘤分类方法技术

多视角信息协作的肾脏良恶性肿瘤分类方法，包括如下步骤：步骤1)医学图像预处理，将肾脏CT三个视角的图像进行数据增强处理；步骤2)针对每个视角的图像构建多视角卷积网络子模型；步骤3)构建多视角信息协作卷积神经网络模型，将三个视角的子模型的输出统一到同一神经元分类层，最终输入Sigmoid函数得到分类结果。并针对假阳性的病例加入惩罚函数，给予更大的惩罚减少假阳性情况的出现；步骤4)肾脏肿瘤良恶性分类：向步骤3)中构建好的多视角信息协作卷积神经网络模型，输入待检测的肾脏CT图像，网络输出得到肿瘤的良恶性结果。本发明专利技术结合并充分利用了不同肾脏肿瘤的多视角图像信息，能够提高肾脏肿瘤良恶性分类的准确率，同时避免了因病例图像数据匮乏，导致神经网络训练数据不足而出现的模型泛化能力太差的问题。

Classification of renal benign and malignant tumors based on multi perspective information cooperation

【技术实现步骤摘要】
多视角信息协作的肾脏良恶性肿瘤分类方法
本专利技术涉及一种肾脏良恶性肿瘤分类方法。技术背景肾脏肿瘤是人类常见的十大恶性肿瘤之一，约占肿瘤发病率的3％～5％。近年来全世界肾脏肿瘤发病率均呈上升趋势，尤以肾细胞癌为著，以每10年2％～3％的速度增加。根据美国癌症协会近年来的统计结果，2017年－2019年美国新增肾脏肿瘤患者分别为63990例、65340例及73820例；新增死亡患者分别为14400例、14970例及14770例。而根据最新中国肿瘤登记中心记载，我国2015年新増肾脏肿瘤患者66800例，新增死亡患者234000例，且多项研宄均记载我国肾癌发病率及病死率近年来呈上升趋势，严重危害人民群众生命健康。根据2016年世界卫生组织分类标准，肾脏肿瘤根据组织学类型及表现出的侵袭性不同，可分为肾恶性肿瘤及肾良性肿瘤。目前己知，不同的肾脏肿瘤类型有不同的临床预后，基因表达模式及治疗方法。良性肾脏肿瘤更推荐保留肾单位的手术或积极监测的方法，而对于肾恶性肿瘤，多采用根治性肾切除的手术方式或射频消融的方法。故为避免肾脏良性肿瘤患者因误诊为肾恶性肿瘤患者，过度治疗错失了保留肾脏的机会，提高肾脏肿瘤早期诊断准确度，具有十分重要的临床价值。目前影像学检查是肾脏肿瘤早期发现并早期诊断的重要手段之一，超声检查较为简单易操作，但诊断的准确性常与临床医师经验及手法有密切相关，且对肾癌病理类型的诊断缺乏特异性。MRI检查对软组织分辨率较高，但由于费用较高且扫描成像时间长，故不作为肾癌患者首选检查，故本专利技术基于术前常规CT检查。深度学习的方法被运用到医学图像分割领域，帮助医生更加精确地、省时、省力地去诊断各种疾病，成为了一种新型的计算机辅助诊断方法。肾脏良恶性肿瘤分类需要通过深度学习的方法，准确地分割目标的病灶信息，并根据病灶信息对肿瘤进行分类。但目前在该领域，缺乏大量的训练数据集，对肾脏肿瘤的识别仍存在巨大的困难。因此，本专利技术提出了一种多视角信息协作的肾脏良恶性肿瘤分类方法，利用有限的肾部CT图像数据来利用深度学习对肾脏良恶性肿瘤进行分类。使用本专利技术对一例肾部CT图像的三个视角的图像进行学习，可以有效减少对庞大数据量的依赖，并且提高肾脏良恶性肿瘤分类的准确度。
技术实现思路
为现有技术的上述不足，本专利技术提出一种多视角信息协作的肾脏良恶性肿瘤分类方法。本专利技术方法将每例肾脏CT图像的三个视角的图像，分别构建了一个信息协作子模型。每个子模型中存在一个微调预训练好的DenseNet网络分别从该视角的肾脏CT图像中分割病灶信息。最后，三个信息协作模型同时在误差反向转播过程中，使用自适应加权方案对肾脏肿瘤进行分割，并根据病灶信息对肾脏肿瘤进行分类。此外，本专利技术还引入了惩罚函数来减少假阳性率和假阴性率。经过测试表明，本专利技术能够有效地分类出肾脏良恶性肿瘤，应用于常规的医院临床检测工作。为使本专利技术的目的、技术方案和优点更加清晰，下面就对本专利技术的技术方案作进一步描述，多视角信息协作的肾脏良恶性肿瘤分类方法，具体步骤如下：步骤1)医学图像预处理；每例肾脏CT图像案例由矢状、冠状、横向平面三个视角的影像组成。对采集到的肾脏CT图像做数据增强处理，提高本方法模型的泛化能力和抗干扰能力。将处理后的数据80％用作本专利技术神经网络的训练集，10％作为验证集，剩余10％作为测试集。步骤2)构建多视角卷积网络子模型；为了让经过ImageNet自然图像数据集预训练的DenseNet能够准确分割肾脏肿瘤。本方法去除了该网络结构的最后一个全连接层，然后分别添加了2048、1024和2个神经元。利用Xaiver算法随机初始化这三个全连接层的权值，并将最后一层的激活函数设置为Sigmoid函数。步骤3)构建多视角信息协作卷积神经网络模型；本专利技术提出的多视角信息协作卷积神经网络模型由步骤2)中提出的三个子模型组成，每个子模型输出层的两个神经元连接到多视角信息协作模型的同一个神经元分类层，之后是Sigmoid函数。这个神经元分类层的输出便是整个模型所做的预测结果。在分类肾脏肿瘤时出现错误分类情况下，将良性肿瘤误判为“恶性”(假阳性)比将恶性误诊为“良性”(假阴性)代价更高，因为临床实践可能会错误地确信肿瘤是“恶性”的，导致过度治疗，使得患者错失了保留肾脏的机会。为了解决这一问题，本专利技术提出了惩罚交叉熵损失算法，通过对每个错误进行不同的惩罚，提供了区分假阴性和假阳性肿瘤的方法。步骤4)肾脏肿瘤良恶性分类；向步骤3)中构建好的多视角信息协作卷积神经网络模型，输入待检测的肾脏CT图像，网络输出得到肿瘤的良恶性结果，说明本专利技术能辅助肾脏肿瘤良恶性分类。本专利技术具有以下优点：1.结合并充分利用了不同肿瘤的多视角图像信息，能够提高肿瘤良恶性分类的准确率。2.避免了因病例图像数据匮乏，导致神经网络训练数据不足而出现的模型泛化能力太差的问题。附图说明图1是肾脏多角度CT图；图2是本专利技术方法的软件系统的整体结构图；图3是DenseBlock示意图；图4是DenseBlock网络结构示意图；图5是DenseBlock特征图输入输出示意图；图6是DenseNet-B结构示意图；具体实施方式：以下结合附图对本专利技术做具体的解释说明本专利技术多视角信息协作的肾脏良恶性肿瘤分类方法网络结构如图1所示，具体步骤如下：步骤1)医学图像预处理；每例肾脏CT图像案例由矢状、冠状、横向平面三个视角的影像组成。对采集到的三个任意视角的肾脏CT图像作翻转、旋转、缩放、裁剪、平移其中一种或多种操作等数据增强操作，提高模型抗干扰和泛化能力。把经过数据增强后的图像统一裁剪为224*224像素大小的图像，有利于模型更好地进行学习。最后，将处理后的数据80％用作本专利技术神经网络的训练集，10％作为验证集，最后10％作为测试集。步骤2)构建多视角卷积网络子模型；2.1构建DenseNet网络肾脏CT图像的矢状、冠状、横向平面三个视角的影像分别构建成一个多视角卷积网络的子模型。每个子模型由一个DenseNet网络组成，通过DenseNet对不同视角的肿瘤进行分类。DenseNet中的DenseBlock在保证网络中层与层之间最大程度的信息传输的前提下，直接将所有层连接起来，具体网络结构如图2所示。它具有减轻梯度消失、加强特征传递、有效地利用特征等优点，同时它在一定程度上减少了参数数量，提高了神经网络训练的效率。在DenseNet中，每个层都会与前面所有层在channel维度上连接在一起，并作为下一层的输入。对于一个L层的网络，DenseNet共包含个连接，在DenseNet中，会连接前面所有层作为输入：xl＝Hl([x1,x2,...,xl-1])(1)其中，上面Hl(·)的代表是非线性转化函数，它是一个组合操作，其可能包括一系列的BN(BatchNormalization)，本文档来自技高网...

【技术保护点】
1.多视角信息协作的肾脏良恶性肿瘤分类方法，具体步骤如下：/n步骤1)医学图像预处理；/n每个肾脏CT图像案例由矢状、冠状、横向平面三个视角的影像组成；对采集到的三个任意视角的肾脏CT图像作翻转、旋转、缩放、裁剪、平移其中一种或多种操作等数据增强操作，把经过数据增强后的图像统一裁剪为224*224像素大小的图像；最后，将处理后的数据80％用作神经网络的训练集，10％作为验证集，剩余10％作为测试集；/n步骤2)构建多视角卷积网络子模型；/n2.1构建DenseNet网络；/n肾脏CT图像的矢状、冠状、横向平面三个视角的影像分别构建成一个多视角卷积网络的子模型；每个子模型由一个DenseNet网络组成，通过DenseNet对不同视角的肿瘤进行分类；在DenseNet中，每个层都会与前面所有层在channel维度上连接在一起，这里各个层的特征图大小是相同的，并作为下一层的输入；对于一个L层的网络，DenseNet共包含

【技术特征摘要】
1.多视角信息协作的肾脏良恶性肿瘤分类方法，具体步骤如下：
步骤1)医学图像预处理；
每个肾脏CT图像案例由矢状、冠状、横向平面三个视角的影像组成；对采集到的三个任意视角的肾脏CT图像作翻转、旋转、缩放、裁剪、平移其中一种或多种操作等数据增强操作，把经过数据增强后的图像统一裁剪为224*224像素大小的图像；最后，将处理后的数据80％用作神经网络的训练集，10％作为验证集，剩余10％作为测试集；
步骤2)构建多视角卷积网络子模型；
2.1构建DenseNet网络；
肾脏CT图像的矢状、冠状、横向平面三个视角的影像分别构建成一个多视角卷积网络的子模型；每个子模型由一个DenseNet网络组成，通过DenseNet对不同视角的肿瘤进行分类；在DenseNet中，每个层都会与前面所有层在channel维度上连接在一起，这里各个层的特征图大小是相同的，并作为下一层的输入；对于一个L层的网络，DenseNet共包含个连接，在DenseNet中，会连接前面所有层作为输入：
xl＝Hl([x1,x2,...,xl-1])(1)
其中，上面的Hl(·)代表是非线性转化函数，它是一个组合操作，其可能包括一系列的BatchNormalization，ReLU，Pooling及Conv操作；这里L层与L-1层之间可能实际上包含多个卷积层；
DenseNet由10个子层组成，其中包括四个DenseBlock-BC块，三个Transition层：
第一层：输入层，将处理之后的224*224像素大小的肾脏CT图像输入到网络中；
第二层：卷积层，经过stride＝2的7*7卷积层后参数大小为112*112；
第三层：池化层，stride＝2的3*3最大池化层，输出参数为56*56；
第四层：DenseBlock，第一个DenseBlock块包含6个BN+ReLU+1x1Conv+BN+ReLU+3x3Conv结构，输出参数为56*56个；
第五层：Transition层，Transition层包括一个1x1的卷积和stride＝2的2x2AvgPooling；经过此层后，输出参数减少为28*28个；
第六层：DenseBlock，...

【专利技术属性】
技术研发人员：张聚，俞伦端，周海林，吴崇坚，吕金城，陈坚，
申请(专利权)人：浙江工业大学之江学院，
类型：发明
国别省市：浙江;33