一种基于深度学习与概率影像组学的病灶分类系统技术方案

本发明专利技术涉及一种基于深度学习与概率影像组学的病灶分类系统，属于医学图像分类技术领域。针对现有病灶分类系统存在的分类模糊性所带来的歧义问题、分类精度不够高的问题，本发明专利技术以深度卷积神经网络为主干，提出非局部形状分析模块提取医学图像上病灶的特征云，去除病灶周边像素对分类判断的干扰，得到病灶的本质表征；同时为了捕捉标签的模糊性，提出模糊先验网络来模拟不同专家标注的模糊性分布，显示建模了专家标注的歧义性，使模型训练的分类结果具有更好的鲁棒性，将模糊先验样本与病灶表征相结合，构建了一种新的病灶分类系统，具有可控性和概率性，相比传统的卷积神经网络，更好地解决了分类模糊性的问题，可获得更高的分类精度。

A focus classification system based on deep learning and probability image group

The invention relates to a focus classification system based on deep learning and probability image group, which belongs to the technical field of medical image classification. In view of the ambiguity and low classification accuracy caused by the classification fuzziness of the existing focus classification system, the invention takes the deep convolution neural network as the backbone, proposes the non local shape analysis module to extract the feature cloud of the focus on the medical image, remove the interference of the surrounding pixels of the focus on the classification judgment, and obtain the essence of the focus; at the same time, in order to capture the model of the label Fuzzy priori network is proposed to simulate the fuzzy distribution of different expert tagging, which shows the ambiguity of expert tagging and makes the classification result of model training more robust. By combining the fuzzy priori sample with focus representation, a new focus classification system is constructed, which has controllability and probability. Compared with the traditional convolution neural network, it has a better solution The problem of fuzzy classification is solved, and higher classification accuracy can be obtained.

【技术实现步骤摘要】
一种基于深度学习与概率影像组学的病灶分类系统
本专利技术涉及病灶CT图像的分类技术，具体涉及基于深度学习与概率影像组学的病灶分类系统，属于医学图像分类

技术介绍
目前中国各类癌症的发病率和死亡率居各种疾病之首，其中又以肺癌的发病率和死亡率均居各种恶性肿瘤之首，对人们的健康构成了巨大的威胁。肺结节筛查是实现肺癌早诊早治的重要手段。放射组学分析方法通过医生手动勾画感兴趣区域，图像处理、特征提取、特征筛选，再结合机器学习算法对目标变量进行预测，辅助医生对病灶进行分析，其功能强大且得到了广泛的应用。与传统临床检测方法相比，其具有无创性、非介入、可重复等优点，且其分析对象基于全部病灶组织，信息全面性高。近几年，基于深度学习的人工智能技术在结节检测分类领域迅猛发展，在医学图像分析中取得了巨大的成功。其通过卷积神经网络(ConvolutionalNeuralNetwork,CNN)对图像每一个原始像素进行处理，如果提供足够多的数据，传统手动提取特征进行处理的方式很难与端到端的深度学习相比较。现有关于病灶分类的研究中，中国专利（CN106504232B）公开了一种基于3D卷积神经网络的肺部结节自动检测系统，该系统将检测分为两大阶段：(1)候选肺部结节检测阶段；(2)假阳性肺部结节筛除阶段，同时，每个阶段都会构建并训练出一个独特的3DCNN，以适用肺部结节的检测和筛除；通过第一阶段的3DCNN可以初步检测出疑似肺部结节的候选肺部结节位置，再利用第二阶段的3DCNN滤除掉候选结节中的假阳性肺部结节，最终找出整幅肺部CT影像中所有存在的结节位置。中国专利（CN108078581B）提出了一种基于卷积神经网络的肺癌良恶性判别的系统，该系统包括获取肺部CT图像，其中，CT图像包括第一CT图像和第二CT图像；将第一CT图像和第二CT图像进行配准，得到第一配准图像和第二配准图像；分别获取第一配准图像和第二配准图像中的病灶位置，得到第一CT样本和第二CT样本；将第一CT样本的第一参数值与第二CT样本的第二参数值作差，得到3D样本；通过多个训练样本训练良恶性判别卷积神经网络，并通过良恶性判别卷积神经网络判定3D样本的良恶性，其中，训练样本为经过病理检测的3D样本。这两件专利虽然都涉及了通过CNN进行肺结节的识别或良恶性判断，但由于传统技术并不能保证CNN的黑匣子能正确的从病灶中提取特征，尤其是在数据有限的情况下，实验证明有些时候CNN的预测并不完全可靠。相比之下，对用户来说，放射组学分析比黑盒深度学习具有更好的可控性和透明性。另一方面，分类在临床应用中存在固有的模糊性，对于难以明确划分类别的病例，经验丰富的放射科医生可能会做出不同的诊断。虽然理论上可以通过更复杂的检查（如活检）取得消除歧义的结果，但仅仅通过成像可能无法获得这些信息。这使得处理具有模糊性的专家标注在医学图像分析中是非常必要的，而传统CNN的训练过程使模型更偏向于均值，而不是逼近模糊分布。专利（CN106780448B）公开了一种基于迁移学习与特征融合的超声甲状腺结节良恶性分类方法，引入医生标记的甲状腺结节超声图像作为训练集，对显著特征描述向量进行样本训练，得到针对超声甲状腺结节的分类器，再得到结节良恶性分类结果。该专利基于医生标注进行了机器学习，能一定程度解决分类的模糊性问题，但不能解决病灶周边像素对分类判断的干扰问题。专利（CN106250701B）公开了一种基于肺结节图像密度实现肺结节危险程度分类的方法，该方法包括以下步骤：(1)通过已有的肺结节图像，建立肺结节图像数据库，并按照危险程度将肺结节图像标记成不同的类别；(2)采集需要判断的肺结节图像，建立肺结节图像单元库；(3)计算肺结节图像单元库中两两图像单元之间的距离，得到距离矩阵；(4)获得聚类数量和聚类中心；(5)对肺结节图像数据库中每个肺结节图像计算其CT值密度分布特征，该特征表征着肺结节的危险程度，不同的肺结节类别具有不同的图像特征；(6)肺结节危险程度分类模块基于有监督机器学习模型使用肺结节CT值密度分布特征实现肺结节危险程度的训练和分类。该专利涉及了标准化数据库的建立以及根据现有图像标注数据进行深度学习的
技术实现思路
，但同样存在不能消除分类模糊性所带来的歧义问题。中国专利申请（CN105718952A）公开了一种使用深度学习网络对断层医学影像进行病灶分类的方法，对诸如如前列腺癌(PCA)与前列腺增生(BPH)疾病变，采用了深度学习网络对这两种CT影像或者MRI断层医学影像病灶进行分类。然而，首先，该专利所采用的方法是基于2D的卷积神经网络，这使得该专利不具备捕捉三维空间特征的能力。其次，该专利使用的是传统黑盒深度学习，使得该专利的技术并不具备可控性和透明性。同样还存在不能消除分类模糊性所带来的歧义问题。因此，亟需提出一种新的分类系统，解决现有分类技术中对病灶分类存在的分类模糊性所带来的歧义问题、分类精度不够高的问题。
技术实现思路
为了克服现有技术的不足，本专利技术提出了一种基于深度学习与概率影像组学的病灶分类系统，以深度卷积神经网络为基础，提出非局部形状分析模块（Non-localShapeAnalysisModule，NSAM）提取医学图像上病灶的特征云，通过去除病灶周边像素对分类判断的干扰，得到病灶的本质表征；同时为了捕捉标签的模糊性，提出模糊先验网络(AmbiguityPriorNet,APN)来模拟不同专家标注的模糊性分布，显示建模了专家标注的歧义性，使模型训练的分类结果具有更好的鲁棒性，将模糊先验样本与病灶表征相结合，构建了一种新的病灶分类系统，具有可控性和概率性，相比传统的卷积神经网络，可以更好地模拟放射科专家的决策过程，同时可消除病灶周边像素对分类判断的干扰，获得更高的分类精度。由于该方法结合了传统的影像组学以及概率深度学习的优点，本专利技术中将这整套方法称为概率影像组学（ProbabilisticRadiomics）。为了实现上述目的，本专利技术采用以下技术方案：一种基于深度学习与概率影像组学的病灶分类系统，包括以下模块：数据搜集模块：搜集多个包含病灶的CT图像上同一个病灶的分割结果和分类结果，得到专家标注的分割结果和专家标注的分类结果，将专家标注的分割结果和分类结果称为真值，本系统的真值可以是由多个不同放射科医生给出的分割结果和分类结果，也可以是搜集到的由不同的分类系统或分类方法得到并且被验证过的分割结果和分类结果，该真值数据库可以不断迭代修正，使本系统基于该真值数据库的训练和预测结果也可以不断通过机器学习进而得以不断修正、提高预测准确率；鉴于医学图像内在的歧义性，不论是多位医生对于同一个病灶的分割和分类结果，还是由不同的分类系统预测得到的同一个病灶的分割和分类结果通常是不一致的，因此，包含病灶的CT图像上同一个病灶的多个分割和分类结果是具有模糊性的专家标注，所述多个通常大于等于3个；预处理模块：对包含病灶的CT图像进行预处理，将图像重采样为统一规格、进行数据增强，得到增强后的数据集，所述数据增强包括裁剪感兴趣区域、旋转和平移本文档来自技高网...

【技术保护点】
1.一种基于深度学习与概率影像组学的病灶分类系统，其特征在于，包括以下模块：/n数据搜集模块：搜集多个包含病灶的CT图像上同一个病灶的分割和分类结果，得到专家标注的分割结果和专家标注的分类结果；/n预处理模块：对包含病灶的CT图像进行预处理，将图像重采样为统一规格、进行数据增强，得到增强后的数据集，该数据集的每一个样本称为CT三维数据I；/n数据表征模块：以深度卷积神经网络为主干，使用多层三维卷积层和池化层对预处理过的CT三维数据

【技术特征摘要】
1.一种基于深度学习与概率影像组学的病灶分类系统，其特征在于，包括以下模块：
数据搜集模块：搜集多个包含病灶的CT图像上同一个病灶的分割和分类结果，得到专家标注的分割结果和专家标注的分类结果；
预处理模块：对包含病灶的CT图像进行预处理，将图像重采样为统一规格、进行数据增强，得到增强后的数据集，该数据集的每一个样本称为CT三维数据I；
数据表征模块：以深度卷积神经网络为主干，使用多层三维卷积层和池化层对预处理过的CT三维数据进行下采样，其中R代表实数集，D×H×W代表输入大小：深度×高度×宽度，得到特征图，其中D'×H'×W'代表得到的特征图的大小：深度×高度×宽度，c代表该特征图的通道数；在特征图F上通过反卷积层上采样得到分割特征图，其中cseg代表该分割特征图的通道数；
病灶分割输出模块：将分割特征图Fseg经过一层卷积层卷积和sigmoid得到预测的病灶分割结果；
非局部形状分析模块：将特征图F线性插值成原始CT三维数据大小F'，按照病灶分割结果Yseg提取F'中病灶区域各个体素对应的特征，构建特征向量集合，即特征云X，其中每个特征向量来自于病灶CT中一个体素对应的特征，所述病灶分割结果Yseg为专家标注的病灶分割结果或本系统预测的病灶分割结果Oseg；设病灶分割结果Yseg的体积是N个体素，则特征云，其中c为每个体素的特征维度，采用点积注意力机制对特征云进行处理，具体公式为：



其中，Attn(X)为点积注意力机制，σ为激活函数，XT代表X的转置；进一步采用非局部形状分析模块对Attn(X)进行多次特征转换和处理，具体公式为：



其中，NSAM(X)为非局部形状分析模块转换后的特征云，为可学习的参数权重，GN代表群正规化的操作，g代表通道分组数；，且NSAM(X)和输入X的维度保持一致；经过多层的NSAM操作得到转换后的特征云；
病灶分类输出模块：将非局部形状分析模块中经多层转换后的特征云输入全局平均池化层，得到病灶的唯一表征；将病灶的唯一表征经过全连接层和softmax激活函数，得到病灶分类结果，其中ccls代表病灶分类的类别数；
训练模块：以包含有专家标注的分割结果和专家标注的分类结果的病灶CT图像作为训练集，在训练集上，按照所述预处理模块、数据表征模块、病灶分割输出模块、非局部形状分析模块和病灶分类输出模块处理，得到预测的分割结果Oseg和分类结果Ocls，预测的病灶分割结果Oseg和病灶分类结果Ocls对应的真值采样自数据搜集模块中同一个病灶对应的多个专家标注中随机的任意一个；结合专家标注的分割结果和分类结果，将分割损失函数和分类损失函数相加，联合训练数据表征模块、病灶分割输出模块、非局部形状分析模块和病灶分类输出模块；
验证/测试模块：以另一部分包含有专家标注的分割结果和专家标注的分类结果的病灶CT图像作为验证集，将待测试的病灶CT图像作为测试集，在验证集/测试集上，分别按照所述预处理模块、数据表征模块、病灶分割输出模块、非局部形状分析模块和病灶分类输出模块处理，使用在验证集上具有最高AUC值的模型用来在测试集上做测试，得到测试集的分类结果。


2.如权利要求1所述的一种基于深度学习与概率影像组学的病灶分类系统，其特征在于，所述病灶分类系统还包括模糊先验采样模块：采用模糊先验网络APN对预处理过的CT三维数据I进行模糊先验采样，所述模糊先验网络APN主体采用和数据表征模块中的深度卷积神经网络一致的结构，通过控制输出层通道数，使其输出为两个长度为的向量，其中代表某个正态分布的均值和方差，从该分布中实现概率分布采样得到模糊分布采样，其中，A为模糊先验采样，代表该模糊先验采样的维度；采用重参数化技巧使模糊先验网络能够端到端反向传播，公式为：



其中，fAmbig代表重参数化函数，则为一个独立标准正态分布采样出来的高斯噪声；所述模糊先验采样模块置于预处理模块之后，病灶分割输出模块之前；
所述病灶分割输出模块中，先将模糊先验采样A与数据表征模块中的分割特征图Fseg上每个体素进行点对点的通道拼接得到，再将F'seg经过一层卷积层卷积和sigmoid得到预测的病灶分割结果；
所述病灶分类输出模块中，将非局部形状分析模块中经多层转换后的特征云输入全局平均池化层，得到病灶的唯一表征；将模糊先验采样A与病灶表征Fclf拼接，再将拼接后的结果经过全连接层和softmax激活函数，得到病灶分类结果，其中ccls代表病灶分类的类别数；
训练模块：以包含有专家标注的分割结果和专家标注的分类结果的病灶CT图像作为训练集，在训练集上，按照所述预处理模块、数据表征模块、模糊先验采样模块、病灶分割输出模块、非局部形状分析模块和病灶分类输出模块处理，得到预测的分割结果Oseg和分类结果Ocls，预测的病灶分割结果Oseg和病灶分类结果Ocls对应的真值采样自数据搜集模块中同一个病灶对应的多个专家标注中随机的任意一个；结合专家标注的分割结果和分类结果，将分割损失函数和分类损失函数相加，联合训练数据表征模块、模糊先验采样模块、病灶分割输出模块、非局部形状分析模块和病灶分类输出模块；
验证/测试模块：以另一部分包含有专家标注的分割结果和专家标注的分类结果的病灶CT图像作为验证集，将待测试的病灶CT图像作为测试集，在验证集/测试集上，分别按照所述预处理模块、数据表征模块、模糊先验采样模块、病灶分割输出模块、非局部形状分析模块和病灶分类输出模块处理，使用在验证集上具有最高AUC值的模型用来在测试集上做测试，得到测试集的分类结果。


3.一种基于深度学习与概率影像组学的病灶分类系统，其特征在于，包括以下模块：
数据搜集模块：搜集多个包含病灶的CT图像上同一个病灶的分割和分类结果，得到专家标注的分割结果和专家标注的分类结果；
预处理模块：对包含病灶的CT图像进行预处理，将图像重采样为统一规格、进行数据增强，得到...

【专利技术属性】
技术研发人员：杨健程，方荣耀，葛亮，
申请(专利权)人：点内上海生物科技有限公司，
类型：发明
国别省市：上海;31