一种基于深度学习的椎体压缩性骨折多模态智能诊断系统技术方案

本发明专利技术公开了一种基于深度学习的椎体压缩性骨折多模态智能诊断系统，包括：数据导入模块，用于加载多模态图像，并对图像进行预处理；诊断模块，利用特征提取模块提取不同模态的医学图像特征，利用特征融合模块将不同模态的医学图像特征融合，并利用特征解码模块将融合的特征解码出来；预测模块，利用诊断模块依据多模态医学图像进行疾病智能诊断，并提供诊断结果置信度和可视化图。本发明专利技术将深度学习技术与多模态医学图像结合，提供医学疾病的诊断结果及其置信度并对结果进行可视化，提升疾病诊断能力，解决压缩骨折主要依靠影像科医生主观判断的缺点，可快速、准确的自动识别椎体压缩性骨折(OVCF)。缩性骨折(OVCF)。缩性骨折(OVCF)。

【技术实现步骤摘要】
一种基于深度学习的椎体压缩性骨折多模态智能诊断系统


[0001]本专利技术涉及深度学习和医学影像的
，尤其是指基一种基于深度学习的椎体压缩性骨折多模态智能诊断系统。

技术介绍

[0002]椎体压缩性骨折(OVCF)作为骨质疏松症最常见的骨质疏松性骨折类型,可导致患者慢性疼痛、身高减退、日常生活活动受限、压疮、肺炎和心理困扰等一系列风险增加。据统计目前我国患有骨质疏松性椎体压缩骨折患者人数已达4449万,每年新增椎体骨折181万人。目前椎体压缩性骨折(OVCF)主要依靠影像科医生人工看片的方式进行诊断，不仅耗时，同时准确率也跟影像科医生的经验有关，因此如何基于脊椎影像图像自动判断椎体压缩性骨折(OVCF)是亟待解决的一个课题。
[0003]目前椎体压缩性骨折的诊断主要有两种途径：1)影像科医生手动度量椎体的三条线，并计算任意两条线之前的比值，如果比值大于15％，则为压缩性骨折。2)基于图像处理的方法，主要分为基于区域的方法和边缘分割方法。基于区域的方法依赖于图像的空间局部特征,如灰度、纹理及其它象素统计特性的均匀性等。基于边缘分割方法通常利用梯度信息确定目标的边界。这两种方法都需要实现对椎体进行定位，在定位的基础上才能实现分割。同时由于不同设备和不同的个体，对椎体分割的准确度不高，另外椎体分割完成后还要计算椎体任意两条线之间的比值，通过此比值去判断骨折椎体。这种首先依赖椎体的分割准确性，会存在累计误差。同时，急性骨折由于其形状和正常骨折一致，无法通过此方法进行识别。总体而言，目前对于椎体压缩性骨折的诊断首先是正确率不高，其次对于人的依赖程度很高，另外无法同时识别压缩骨折和急性骨折这两种类型的骨折。

技术实现思路

[0004]本专利技术的目的在于克服现有技术的缺点与不足，提出了一种基于深度学习的椎体压缩性骨折多模态智能诊断系统，解决压缩骨折主要依靠影像科医生主观判断的缺点，快速、准确的自动识别椎体压缩性骨折(OVCF)。
[0005]为实现上述目的，本专利技术所提供的技术方案为：一种基于深度学习的椎体压缩性骨折多模态智能诊断系统，包括：
[0006]数据导入模块，用于加载多模态图像，并对图像进行预处理；
[0007]诊断模块，利用特征提取模块提取不同模态的医学图像特征，利用特征融合模块将不同模态的医学图像特征融合，并利用特征解码模块将融合的特征解码出来；
[0008]预测模块，利用诊断模块依据多模态医学图像进行疾病智能诊断，并提供诊断结果置信度和可视化图。
[0009]进一步，所述数据导入模块包括数据加载模块和数据预处理模块；
[0010]所述数据加载模块从本地读取不同模态的医学图像，包括png、jpeg、npy格式，其中，不同模态的医学图像包括T1序列医学图像和T2序列医学图像；
[0011]所述数据预处理模块用于对T1序列医学图像和T2序列医学图像进行裁剪，将其裁剪到统一大小，并对T1序列医学图像和T2序列医学图像进行限制对比度自适应直方图均衡化(CLAHE)处理，最后对T1序列医学图像和T2序列医学图像进行归一化。
[0012]进一步，所述诊断模块包括特征提取模块、特征融合模块和特征解码模块；
[0013]所述特征提取模块用于对样本进行特征提取，利用空洞卷积神经网络构成的特征提取块(DIB)自动提取不同视野的特征，具体执行以下操作：
[0014]对T1、T2序列医学图像均分别使用四个特征提取块(DIB)进行特征提取，及使用三个最大池化层进行下采样；其中，所述特征提取块(DIB)的处理过程为：为输入特征数据经过1个3
×
3卷积提取特征后，经过3个并行的空洞率分别为1、2和4的3
×
3卷积提取特征，然后拼接到一起，再经过一个1
×
1卷积提取特征，激活函数均为ReLU；所述最大池化层由步长为2、核尺寸为2
×
2的卷积核构成；
[0015]所述特征融合模块用于将T1序列医学图像特征和T2序列医学图像特征进行融合，将T1序列医学图像特征和T2序列医学图像特征对应维度进行拼接，拼接以后利用空洞卷积神经网络构成的特征提取块(DIB)自动提取不同视野的特征，包括四个特征提取块(DIB)和三个上采样模块；其中，所述特征提取块(DIB)的处理过程为：为输入特征数据经过1个3
×
3卷积提取特征后，经过3个并行的空洞率分别为1、2和4的3
×
3卷积提取特征，然后拼接到一起，再经过一个1
×
1卷积提取特征，激活函数均为ReLU；第一个特征提取块(DIB)输出特征图大小与T1序列和T2序列医学图像的大小相同；第二个特征提取块(DIB)输出特征图大小是T1序列和T2序列医学图像的二分之一；第三个特征提取块(DIB)输出特征图大小是T1序列和T2序列医学图像的四分之一；第四个特征提取块(DIB)输出特征图大小是T1序列和T2序列医学图像的八分之一；第二个特征提取块(DIB)的输出接一个上采样模块，采样率为2，经过上采样后，特征图大小与T1序列和T2序列医学图像的大小相同；第三个特征提取块(DIB)的输出接一个上采样模块，采样率为4，经过上采样后，特征图大小与T1序列和T2序列医学图像的大小相同；第四个特征提取块(DIB)的输出接一个上采样模块，采样率为8，经过上采样后，特征图大小与T1序列和T2序列医学图像的大小相同；
[0016]所述特征解码模块用于对不同视野下获取的特征进行拼接并解码操作，得到与T1序列和T2序列医学图像输入图像同样大小的掩码图，作为分割的结果图，其处理过程包括特征拼接、softmax和卷积操作；其中，所述特征拼接是将特征融合模块得到的四个特征图在通道维度上进行拼接操作；所述softmax操作是对拼接后的特征进行softmax；所述卷积操作是对经softmax后的特征进行1
×
1卷积操作。
[0017]进一步，所述预测模块具体执行以下操作：
[0018]1)使用数据导入模块中的数据加载模块加载T1序列医学图像和T2序列医学图像，使用数据预处理模块处理分别处理T1序列医学图像和T2序列医学图像；
[0019]2)经过步骤1)处理后的T1序列医学图像和T2序列医学图像输入诊断模块中进行疾病诊断；
[0020]3)提取上述步骤2)中诊断模块得到的语义分割结果，从而给出诊断结果置信度和可视化图。
[0021]本专利技术与现有技术相比，具有如下优点与有益效果：
[0022]1、通过深度学习方法自动分割椎体并识别出椎体压缩性骨折(OVCF)，相比传统影
像科医生看片更快速。
[0023]2、解决传统影像科医生诊断的主观性。
[0024]3、不需要人工定位椎体，模型自动可以识别。
[0025]4、骨折椎体的识别不完全依赖于分割。
[0026]5、可以适应各种类型的设备和不同的影像图片。
[0027]6、可以同时识别出压缩性骨折和本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的椎体压缩性骨折多模态智能诊断系统，其特征在于，包括：数据导入模块，用于加载多模态图像，并对图像进行预处理；诊断模块，利用特征提取模块提取不同模态的医学图像特征，利用特征融合模块将不同模态的医学图像特征融合，并利用特征解码模块将融合的特征解码出来；预测模块，利用诊断模块依据多模态医学图像进行疾病智能诊断，并提供诊断结果置信度和可视化图。2.根据权利要求1所述的一种基于深度学习的椎体压缩性骨折多模态智能诊断系统，其特征在于：所述数据导入模块包括数据加载模块和数据预处理模块；所述数据加载模块从本地读取不同模态的医学图像，包括png、jpeg、npy格式，其中，不同模态的医学图像包括T1序列医学图像和T2序列医学图像；所述数据预处理模块用于对T1序列医学图像和T2序列医学图像进行裁剪，将其裁剪到统一大小，并对T1序列医学图像和T2序列医学图像进行限制对比度自适应直方图均衡化处理，最后对T1序列医学图像和T2序列医学图像进行归一化。3.根据权利要求1所述的一种基于深度学习的椎体压缩性骨折多模态智能诊断系统，其特征在于：所述诊断模块包括特征提取模块、特征融合模块和特征解码模块；所述特征提取模块用于对样本进行特征提取，利用空洞卷积神经网络构成的特征提取块自动提取不同视野的特征，具体执行以下操作：对T1、T2序列医学图像均分别使用四个特征提取块进行特征提取，及使用三个最大池化层进行下采样；其中，所述特征提取块的处理过程为：为输入特征数据经过1个3
×
3卷积提取特征后，经过3个并行的空洞率分别为1、2和4的3
×
3卷积提取特征，然后拼接到一起，再经过一个1
×
1卷积提取特征，激活函数均为ReLU；所述最大池化层由步长为2、核尺寸为2
×
2的卷积核构成；所述特征融合模块用于将T1序列医学图像特征和T2序列医学图像特征进行融合，将T1序列医学图像特征和T2序列医学图像特征对应维度进行拼接，拼接以后利用空洞卷积神经网络构成的特征提取块自动提取不同视野的特征，包括四个特征提取...

【专利技术属性】
技术研发人员：吴梦林，俞祝良，张广滔，廉宪坤，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：