一种基于影像组学与深度学习特征融合的椎体骨密度分类方法技术

本发明专利技术涉及医学图像分割与图像分类技术领域，具体涉及一种基于影像组学与深度学习特征融合的椎体骨密度分类方法，将CT图像下椎体分为骨质疏松、低骨量与正常组，包括S1:建立基于CRF和注意力引导的椎体分割网络，获取L1、L2椎体松质骨掩膜；S2:通过GCAM

【技术实现步骤摘要】
一种基于影像组学与深度学习特征融合的椎体骨密度分类方法


[0001]本专利技术涉及医学图像分割与图像分类
，具体涉及一种基于影像组学与深度学习特征融合的椎体骨密度分类方法。

技术介绍

[0002]骨质疏松症是一种骨量减少、骨组织微结构破坏、骨骼脆性增加和易发生骨折的全身性疾病，其发病率随着年龄的增长而明显上升，骨量减少是导致骨质疏松的直接原因，对骨量的检测是预防和治疗骨质疏松的关键，腰椎因其骨质含量大且分布均匀多被选为测量部位，多个椎体的综合骨密度值被用做最终的评价标准，通常为L1、L2椎体。
[0003]目前临床上用于评估骨质疏松的常用方法包括，双能X线骨密度测量法(DXA)，定量CT测量法(QCT)以及定量核磁共振成像(QMRI)等方法。使用DXA对骨密度进行测量，速度快且X射线的辐射剂量低，但是该方法的扫描区域无法将皮质骨和松质骨区分开。QMRI的方法可以对椎体中的骨小梁结构进行研究和评估，这种方法受限于成像速度缓慢，成像价格昂贵，受众面不高。QCT应用已知密度的体模和对应的测量分析软件对骨密度进行测量，准确性高，但是其辐射剂量大，操作复杂，价格也相对昂贵。
[0004]人工智能技术与医学影像的结合是目前研究的一大热点，研究人员尝试挖掘影学图像的内在特征作为分类标准，如CT值，虽然有实验证明使用CT值作为判断的准确度可以达到82％，但是CT值受管电压影响极大使得模型稳定性差。为了在低辐射剂量下获取高精度与高时效的骨密度分类方法，在过去的十年中，研究人员寻求一种不受辐射剂量影响的骨密度分类方法，并取得一定结果。章轶立等人依据组学特征，如灰度共生矩阵、灰度大小区域矩阵、灰度运行长度矩阵、相邻灰度差矩阵、灰度依赖矩阵等，建立了基于Group Lasso的Logistic回归的骨质疏松症风险评估；SHioji等验证了多种CNN算法模型，通过评估矿物质密度，判断骨量减少，更准确的预测了骨质疏松，结果显示CNN模型优于Logistic回归分析，为骨质疏松症的早判断，早干预提供理论依据；Mehta等利用最优随机森林和支持向量机算法模型，训练模型对于骨质疏松判断的准确率、敏感度和特异度，分别达到了98.0％、77.8％和100.0％，结果显示CNN模型可用于对偶发性骨质疏松诊断的辅助工具。
[0005]目前对于骨质疏松预测模型的建立主要从两个方面出发，一是通过影像组学特征建立机器学习模型，二是通过CT图像建立深度学习模型。影像组学特征需要手动分割，耗费大量时间，深度学习模型构建缺乏标准的公共数据集，所用的数据集规模较小；放射组学特征可以很好的对骨小粱的内部微观结构进行解码，而深度学习特征可以更好的识别骨小梁的边缘特征，保证机器学习的质量和效率。此外，现有的骨密度分类方法回避了综合使用多个椎体进行评估的标准，将单张椎体的预测结果作为最终结果，缺乏合理性，所提取的全部特征用于分类导致模型难以优化。

技术实现思路

[0006]针对以上问题，本专利技术提供了一种基于影像组学与深度学习特征融合的椎体骨密度分类方法，通过结合深度学习特征和影像组学特征，有效提高骨密度分类的准确性。
[0007]为了实现上述目的，本专利技术采用的技术方案如下：
[0008]一种基于影像组学与深度学习特征融合的椎体骨密度分类方法，将CT图像下椎体分为骨质疏松、低骨量与正常组，包括以下步骤：
[0009]S1：建立基于CRF和注意力引导的椎体分割网络，获取L1椎体、L2椎体的松质骨分割掩膜；
[0010]S2：通过GCAM
‑
Net对L1椎体和L2椎体融合后的特征图进行深度学习特征提取，并利用L1椎体和L2椎体的CT图像及掩膜进行影像组学特征提取；
[0011]S3：运用差分进化算法在深度学习特征中提取最优特征集，并将提取后影像组学特征通过SVM
‑
RFE法进行特征筛选，最后将影像组学特征和深度学习特征进行最大相关性融合算法进行特征融合，并利用神经网络分类。
[0012]优选地，在S1中，所述CRF和注意力引导的椎体分割网络包括：
[0013]特征提取模块，将图形特征嵌入到卷积神经网络中，用于学习卷积特征和图形特征；
[0014]通道特征融合模块，用于抑制背景中噪音、伪影对分割的干扰；
[0015]特征推理模块，用于划分皮质骨与松质骨区域，细化松质骨分割边界，填充分割掩膜内部的孔洞。
[0016]优选地，所述特征提取模块利用2D残差块和图卷积进行特征提取，使用注意门控制来自不同特征提取器中的信息流。
[0017]优选地，所述特征推理模块利用条件随机场建立椎体像素邻域间的关系，将分割问题转化为能量成本最小化问题，用平均场更新来近似代替复杂的后验概率分布，利用KL散度表示使用理论分布Q拟合真实分布P时产生的信息损耗，引入最小化自由能函数来优化KL散度的求解，求解公式如下所示：
[0018][0019]式中D
KL
(Q||P)为分布P与分布Q之间的KL散度，Q(h)为使用平均场拟合分布P的后验概率分布，lnZ为常数项，E(h)为分割时的能量函数，其中为自由能，自由能的第一项为标记每个体素的成本，第二项表示分布Q的熵，h为隐变量，利用卷积操作代替随机场中的平均场更新，定义使用图卷积网络提取的特征X
G
，卷积提取特征X
R
，注意门的权重矩阵A
GR
，图中以及卷积中待推理的特征分别为H
G
以及H
R
具体的操作步骤为：
[0020](1)计算注意门权重矩阵的更新矩阵：为A
GR
的更新矩阵，r
GR
为一个3
×
3的卷积核，X
G
为使用图卷积网络提取的特征，X
R
为卷积提取特征；
[0021](2)使用sigmoid函数σ对更新矩阵做归一化处理：式中的为归一化后注意门权重矩阵的更新，σ为sigmoid函数；
[0022](3)H
G
的平均场更新：H
G
＝r
GR
*H
G
，*表示卷积操作，X
G
为图卷积网络提取的特征，等式左边的H
G
为更新后的H
G
，r
GR
为一个3
×
3的卷积核；
[0023](4)
⊙
表示元素相乘，为卷积的隐藏特征H
G
的更新，为归一化后注意门权重矩阵的更新，X
G
为使用图卷积网络提取的特征；
[0024](5)通过使用剩余连接添加一元势来更新H
R
:表示元素相加，为卷积的隐藏特征H
G
的更新，为了便于迭代更新，H
G
的贡献归算在H
R
中。
[0025]优选地，所述通道特征融合模块，聚合来自编码层的低级信本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于影像组学与深度学习特征融合的椎体骨密度分类方法，将CT图像下椎体分为骨质疏松、低骨量与正常组，其特征在于，包括以下步骤：S1：建立基于CRF和注意力引导的椎体分割网络，获取L1椎体、L2椎体的松质骨分割掩膜；S2：通过GCAM
‑
Net对L1椎体和L2椎体融合后的特征图进行深度学习特征提取，并利用L1椎体和L2椎体的CT图像及掩膜进行影像组学特征提取；S3：运用差分进化算法在深度学习特征中提取最优特征集，并将提取后影像组学特征通过SVM
‑
RFE法进行特征筛选，最后将影像组学特征和深度学习特征进行最大相关性融合算法进行特征融合，并利用神经网络分类。2.根据权利要求1所述的一种基于影像组学与深度学习特征融合的椎体骨密度分类方法，其特征在于，在S1中，所述CRF和注意力引导的椎体分割网络包括：特征提取模块，将图形特征嵌入到卷积神经网络中，用于学习卷积特征和图形特征；通道特征融合模块，用于抑制背景中噪音、伪影对分割的干扰；特征推理模块，用于划分皮质骨与松质骨区域，细化松质骨分割边界，填充分割掩膜内部的孔洞。3.根据权利要求2所述的一种基于影像组学与深度学习特征融合的椎体骨密度分类方法，其特征在于，所述特征提取模块利用2D残差块和图卷积进行特征提取，使用注意门控制来自不同特征提取器中的信息流。4.根据权利要求2所述的一种基于影像组学与深度学习特征融合的椎体骨密度分类方法，其特征在于，所述特征推理模块利用条件随机场建立椎体像素邻域间的关系，将分割问题转化为能量成本最小化问题，用平均场更新来近似代替复杂的后验概率分布，利用KL散度表示使用理论分布Q拟合真实分布P时产生的信息损耗，引入最小化自由能函数来优化KL散度的求解，求解公式如下所示：式中，D
KL
(Q||P)为分布P与分布Q之间的KL散度，Q(h)为使用平均场拟合分布P的后验概率分布，lnZ为常数项，E(h)为分割时的能量函数，h为隐变量，其中为自由能，自由能的第一项为标记每个体素的成本，第二项表示分布Q的熵，利用卷积操作代替随机场中的平均场更新，定义使用图卷积网络提取的特征X
G
，卷积提取特征X
C
，注意门的权重矩阵A
GR
，卷积中待推理的特征分别为H
G
以及H
R
具体的操作步骤为：(1)计算注意门权重矩阵的更新矩阵：(1)计算注意门权重矩阵的更新矩阵：为A
GR
的更新矩阵，r
GR
为一个3
×
3的卷积核，X
G
为使用图卷积网络提取的特征，X
R
为卷积提取特征；(2)使用sigmoid函数σ对更新矩阵做归一化处理：式中的为归一化后注意门权重矩阵的更新；(3)H
G
的平均场更新：H
G
＝r
GR
*H
G
，*表示卷积操作，X
G
为图卷积网络提取的特征，等式左边的H
G
为更新后的H
G
，r
GR
为一个3
×
3的卷积核；
(4)
⊙
表示元素相乘，为卷积的隐藏特征H
G
的更新，为归一化后注意门权重矩阵的更新，X
G
为使用图卷积网络提取的特征；(5)通过使用剩余连接添加一元势来更新(5)通过使用剩余连接添加一元势来更新表示元素相加，为卷积的隐藏特征H
G
的更新，为了便于迭代更新，H
G
的贡献归算在H
R
中。5.根据权利要求2所述的一种基于影像组学与深度学习特征融合的椎体骨密度分类方法，其特征在于，所述通道特征融合模块，聚合来自编码层的低级信息以及解码层中的高级特征，通过挤压和激发操作校准通道特征响应，得到的权重向量与低层特征相乘，并将重新加权的低层特征与高层特征相加得到最终结果，抑制背景中噪音、以及相似组织对分割的干扰。6.根据权利要求1所述的一种基于影像组学与深度学习特征融合的椎体骨密度分类方法，其特征在于，在S2中，所述GCAM用于椎体特征提取卷积神经网络包括：特征融合模块，通过对L1椎体和L2椎体的图像在进行卷积神经网络特征提取前，先一步进行特征融合，特征融合最后采用特征的通道数相融合的方式将L1椎体图像和L2椎体图像进行特征融合；门控通道注意力模块，用于建模通道之间的关系，在归一化之前嵌入全局上下文并控制每个通道的权重，以及一个门控适应算子，根据归一化的输出逐通道地调整输入特征。7.根据权利要求1所述的一种基于影像组学与深度学习特征融合的椎体骨密度分类方法，其特征在于，在S3中，利用差分进化算法、SVM
‑
RFE算法和最大相关性计算对特征进行...

【专利技术属性】
技术研发人员：张堃，林鹏程，徐沛霞，王林，潘晶，刘志诚，韩宇，涂鑫涛，刘纪元，
申请(专利权)人：南通大学，
类型：发明
国别省市：