基于SE-DenseNet深度学习框架和多模态增强MR图像的肝细胞癌自动分级方法技术

本发明专利技术公开了一种基于SE‑DenseNet深度学习框架和增强MR图像的肝细胞癌自动分级方法，包括1)采集数据；2)对所有的增强MR的肝细胞癌三维图像进行预处理；3)将训练数据进行增强；4)基于增强的训练数据，训练肝细胞癌分级预测模型：SE‑DenseNet网络；5)采用训练好的模型对测试数据进行分级预测，评估肝细胞癌分级预测模型的分类性能。本发明专利技术通过由图像预处理、图像增强、SE‑DenseNet网络训练、SE‑DenseNet网络测试组成的肝细胞癌多模态增强MR图像的自动病理分级方法，能实现肝细胞癌自动分级，能克服人工对肝细胞进行分级存在的人力和时间耗费和主观性差异的问题。

Automatic grading of hepatocellular carcinoma based on SE-DenseNet deep learning framework and multi-modal enhanced MR images

The invention discloses an automatic grading method for hepatocellular carcinoma based on SE DenseNet deep learning framework and enhanced MR image, which includes 1) collecting data; 2) preprocessing all three-dimensional images of enhanced MR hepatocellular carcinoma; 3) enhancing training data; 4) training hepatocellular carcinoma grading prediction model based on enhanced training data: SE DenseNet network; 5) adopting trained hepatocellular carcinoma grading prediction model; The model predicts the test data and evaluates the classification performance of HCC classification prediction model. The automatic pathological grading method of multi-modal enhanced MR images of hepatocellular carcinoma composed of image preprocessing, image enhancement, SE DenseNet network training and SE DenseNet network testing can realize automatic grading of hepatocellular carcinoma and overcome the problems of human and time consuming and subjective differences in artificial grading of hepatocellular carcinoma.

【技术实现步骤摘要】
基于SE-DenseNet深度学习框架和多模态增强MR图像的肝细胞癌自动分级方法
本专利技术涉及医学图像处理领域，特别涉及一种基于SE-DenseNet深度学习框架和多模态增强MR图像的肝细胞癌自动分级方法。
技术介绍
在全球范围内，肺/肝/胃和肠肿瘤目前占所有癌症死亡的近一半(46％)。肝细胞癌(HCC)，纤维膜癌，胆管癌、血管肉瘤和肝母细胞瘤称为原发性肝癌，在这些原发性肝癌中，肝细胞癌(HCC)是导致全球癌症死亡的第三大肿瘤，大约有50多万人受到这种疾病的影响。在肝细胞癌的分级中，Ⅱ级和Ⅲ级占大多数。肝癌病人的预后情况与肝癌的分化程度以及肝癌的治疗方案有关，因此肝癌的分级具有重要的临床意义。人工标记病灶分级信息存在如下缺点：一是人力耗费大，二是存在主观性差异，即同样的病理切片，不同的人的观察结果却不同。目前，肝癌的分化程度评估方面的研究较少，一方面是基于医学影像图像评估病理分化程度存在一定的难点，二是因为肝癌的临床数据的收集较困难，网上公开的肝癌影像数据集的图像质量较差，而且缺乏病理分化信息，难以利用。随着计算机技术的发展和成熟，计算机临床辅助诊断技术迅速发展成一门新兴学科和技术，越来越广泛地应用于临床。因此通过多模态影像数据对早期肝癌进行计算机辅助诊断对病人的预后及其重要，具有一定的临床意义。
技术实现思路
本专利技术目的是为了解决传统的依赖于人工对肝细胞进行分级存在的人力和时间耗费和主观性差异的问题，提出了一种基于SE-DenseNet深度学习框架和多模态增强MR图像的肝细胞癌自动分级方法。为解决上述技术问题，本专利技术采用的技术方案是：一种基于SE-DenseNet深度学习框架和增强MR图像的肝细胞癌自动分级方法，包括以下步骤：1)临床获取多模态增强MR的肝细胞癌三维图像和病理分级结果；2)对所有的增强MR的肝细胞癌三维图像进行预处理，以作为训练数据；3)将训练数据进行增强，扩增训练数据量；4)基于增强的训练数据，训练肝细胞癌分级预测模型：SE-DenseNet网络；5)采用训练好的模型对测试数据进行分级预测，评估肝细胞癌分级预测模型的分类性能；其中，所述SE-DenseNet网络是通过将DenSE、DenSE-BC和SE框架相结合得到，SE框架即为：Squeeze-and-ExcitationNetworks框架。优选的是，所述步骤1)包括：从临床获取多模态增强MR的术前肝细胞癌影像数据，包括动脉期MR序列、静脉期MR序列和延迟期MR序列；每个病人的肝细胞癌分级依据EdmondsonandSteinersystem分级方法：一级即高分化，二级即中分化，三级即低分化，四级即未分化，其中一级和二级属于低分级，三级和四级属于高分级；将每个MR序列标记为低分级或高分级，作为临床通用的金标准应用于监督学习。优选的是，所述步骤2)中的预处理为：从每个MR图像中提取肿瘤感兴趣区域，即ROI区域，并进行标准化，具体包括：2-1)人工勾画肿瘤大致区域，对肿瘤进行粗略分割；2-2)提取ROI区域，并去除背景信息；2-3)将ROI区域标准化为固定大小：RO区域I大于标准化大小的肿瘤以肿瘤中心为基准被截取成标准化大小，ROI小于标准化大小的肿瘤被扩充填零至标准化大小；2-4)对标准化大小的ROI区域进行像素归一化，得到预处理后的图像，以作为训练数据；其中，像素归一化采用基于Z-score方法：计算ROI区域的均值和方差，并将肿瘤部分的像素减去均值再除以方差。优选的是，所述SE-DenseNet网络以DenseNet为基本框架，将SE层加入到过渡层和稠密块之间得到，其包括依次连接的输入层、3D卷积层、3D平均池化层、N个SE-DenseNetcomponent-V1、稠密块、3D平均池化层和全连接层；其中，SE-DenseNetcomponent-V1由稠密块、过渡层、SE层组成，且SE-DenseNetcomponent-V1中的稠密块由M个复合函数组成；其中，该网络的输入其中，C0为通道数，H0×W0×L0为每个通道图像的三维大小；该SE-DenseNet网络的训练方法包括：首先输入Input经过3D卷积层和3D平均池化层后得到输出Output0经过N个由稠密块、过渡层、SE层组成的SE-DenseNetcomponent-V1；最后一个SE-DenseNetcomponent-V1的输出经过稠密块、3D平均池化层和全连接层进行目标分类；其中的SE层包括依次连接的全局3D平均池化层、全连接层、ReLU、全连接层和Sigmoid；其中，ReLU和Sigmoid均为激活函数：ReLU：Sigmoid：SE-DenseNetcomponent-V1的处理方法具体为：在第n个SE-DenseNetcomponent-V1中，稠密块中第m个复合函数的输出表示为m∈[0,M-1]，n∈[0,N-1]，过渡层的输出表示为n∈[0,N-1]；SE层前一过渡层的输出OutputnT经过了全局3D平均池化层、全连接层、ReLU、全连接层、Sigmoid一系列连续操作后，得到最后将Weight和OutputnT相乘得到OutputnT′：然后再将得到的OutputnT′输入到网络中的SE层中的下一层稠密块。优选的是，所述SE-DenseNet网络以DenseNet为基本框架，通过将SE层加入稠密块的内部即复合函数层之后，构成新的SE-稠密块而得到；其包括依次连接的输入层、3D卷积层、3D平均池化层、N个SE-DenseNetcomponent-V2、SE-稠密块、3D平均池化层和全连接层；SE-DenseNetcomponent-V2由SE-稠密块、过渡层组成，SE-稠密块由M个连续的复合函数和SE层组成；SE-稠密块由M个连续的复合函数和SE层组成；该网络的输入其中，C0为通道数，H0×W0×L0为每个通道图像的三维大小；该SE-DenseNet网络的训练方法包括：首先输入Input经过3D卷积层和3D平均池化层后得到Output0经过N个由SE-稠密块、过渡层组成的SE-DenseNetcomponent-V2；最后一个SE-DenseNetcomponent-V2的输出经过SE-稠密块、3D平均池化层和全连接层进行目标分类。优选的是，所述SE-DenseNet网络以DenseNet为基本框架，通过将SE层同时加入到过渡层与稠密块之间以及稠密块的内部即复合函数层之后得到；其包括依次连接的输入层、3D卷积层、3D平均池化层、N个SE-DenseNetcomponent-V3、SE-稠密块、3D平均池化层和全连接层；SE-DenseNetcomponent-V3由SE-稠密块、过渡层、SE层组成，SE-稠密块由M个连续的复合函数和SE层组成；该网络的输入其中，C0为通道数，H0×W0×L0为每个通道图像的三维大小；该SE-DenseNet网络的训练方法包括：首先Input经过3D卷积层和3D平均池化层后得到Output0经过N个由SE-稠密块、过渡层、SE层组成的SE-DenseNetcomponent-V3，SE-稠密块由M个连续的复合函数和SE层组成；最后一个SE-DenseNetcomponent-V3的输出经过SE-稠密块、3本文档来自技高网...

【技术保护点】
1.一种基于SE‑DenseNet深度学习框架和增强MR图像的肝细胞癌自动分级方法，其特征在于，包括以下步骤：1)临床获取多模态增强MR的肝细胞癌三维图像和病理分级结果；2)对所有的增强MR的肝细胞癌三维图像进行预处理，以作为训练数据；3)将训练数据进行增强，扩增训练数据量；4)基于增强的训练数据，训练肝细胞癌分级预测模型：SE‑DenseNet网络；5)采用训练好的模型对测试数据进行分级预测，评估肝细胞癌分级预测模型的分类性能；其中，所述SE‑DenseNet网络是通过将DenSE、DenSE‑BC和SE框架相结合得到，SE框架即为：Squeeze‑and‑Excitation Networks框架。

【技术特征摘要】
1.一种基于SE-DenseNet深度学习框架和增强MR图像的肝细胞癌自动分级方法，其特征在于，包括以下步骤：1)临床获取多模态增强MR的肝细胞癌三维图像和病理分级结果；2)对所有的增强MR的肝细胞癌三维图像进行预处理，以作为训练数据；3)将训练数据进行增强，扩增训练数据量；4)基于增强的训练数据，训练肝细胞癌分级预测模型：SE-DenseNet网络；5)采用训练好的模型对测试数据进行分级预测，评估肝细胞癌分级预测模型的分类性能；其中，所述SE-DenseNet网络是通过将DenSE、DenSE-BC和SE框架相结合得到，SE框架即为：Squeeze-and-ExcitationNetworks框架。2.根据权利要求1所述的基于SE-DenseNet深度学习框架和增强MR图像的肝细胞癌自动分级方法，其特征在于，所述步骤1)包括：从临床获取多模态增强MR的术前肝细胞癌影像数据，包括动脉期MR序列、静脉期MR序列和延迟期MR序列；每个病人的肝细胞癌分级依据EdmondsonandSteinersystem分级方法：一级即高分化，二级即中分化，三级即低分化，四级即未分化，其中一级和二级属于低分级，三级和四级属于高分级；将每个MR序列标记为低分级或高分级，作为临床通用的金标准应用于监督学习。3.根据权利要求2所述的基于SE-DenseNet深度学习框架和增强MR图像的肝细胞癌自动分级方法，其特征在于，所述步骤2)中的预处理为：从每个MR图像中提取肿瘤感兴趣区域，即ROI区域，并进行标准化，具体包括：2-1)人工勾画肿瘤大致区域，对肿瘤进行粗略分割；2-2)提取ROI区域，并去除背景信息；2-3)将ROI区域标准化为固定大小：RO区域I大于标准化大小的肿瘤以肿瘤中心为基准被截取成标准化大小，ROI小于标准化大小的肿瘤被扩充填零至标准化大小；2-4)对标准化大小的ROI区域进行像素归一化，得到预处理后的图像，以作为训练数据；其中，像素归一化采用基于Z-score方法：计算ROI区域的均值和方差，并将肿瘤部分的像素减去均值再除以方差。4.根据权利要求3所述的基于SE-DenseNet深度学习框架和增强MR图像的肝细胞癌自动分级方法，其特征在于，所述SE-DenseNet网络以DenseNet为基本框架，将SE层加入到过渡层和稠密块之间得到，其包括依次连接的输入层、3D卷积层、3D平均池化层、N个SE-DenseNetcomponent-V1、稠密块、3D平均池化层和全连接层；其中，SE-DenseNetcomponent-V1由稠密块、过渡层、SE层组成，且SE-DenseNetcomponent-V1中的稠密块由M个复合函数组成；其中，该网络的输入其中，C0为通道数，H0×W0×L0为每个通道图像的三维大小；该SE-DenseNet网络的训练方法包括：首先输入Input经过3D卷积层和3D平均池化层后得到输出Output0经过N个由稠密块、过渡层、SE层组成的SE-DenseNetcomponent-V1；最后一个SE-DenseNetcomponent-V1的输出经过稠密块、3D平均池化层和全连接层进行目标分类；其中的SE层包括依次连接的全局3D平均池化层、全连接层、ReLU、全连接层和Sigmoid；其中，ReLU和Sigmoid均为激活函数：ReLU：Sigmoid：SE-DenseNetcomponent-V1的处理方法具体为：在第n个SE-DenseNetcomponent-V1中，稠密块中第m个复合函数的输出表示为m∈[0,M-1]，n∈[0,N-1]，过渡层的输出表示为SE层前一过渡层的输出OutputnT经过了全局3D平均池化层、全连接层、ReLU、全连接层、Sigmoid一系列连续操作后，得到最后将Weight和OutputnT相乘得到OutputnT′：然后再将得到的OutputnT′输入到网络中的SE层中的下一层稠密块。5.根据权利要求3所述的基于SE-DenseNet深度学习框架和增强MR图像的肝细胞癌自动分级方法，其特征在于，所述SE-DenseNet网络以DenseSE为基本框架，通过将SE层加入稠密块的内部即复合函数层之后，构成新的SE-稠密块而得到；其包括依次连接的输入层、3D卷积层、3D平均池化层、N个SE-DenseNetcomponent-V2、SE-稠密块、3D平均池化层和全连接层；SE-DenseNetcomponent-V2由SE-稠密块、过渡层组成，SE-稠密块由M个连续的复合函数和SE层组成；SE-稠密块由M个连续的复合函数和SE层组成；该网络的输入其中，C0为通道数，H0×W0×L0为每个通道图像的三维大小；该SE-DenseNet网络的训练方法包括：首先输入Input经过3D卷积层和3D平均池化层后得到Output0经过N个由SE-稠密块、过渡层组成的SE-DenseNetcomponent-V2；最后一个SE-DenseNetcomponent-V2的输出经过SE-稠密块、3D平均池化层和全连接层进行目标分类。6.根据权利要求3所述...

【专利技术属性】
技术研发人员：纪建松，戴亚康，周志勇，徐民，陈敏江，周庆，
申请(专利权)人：丽水市中心医院，中国科学院苏州生物医学工程技术研究所，
类型：发明
国别省市：浙江,33