基于多尺度几何嵌入卷积神经网络的股骨头坏死指标预测系统技术方案

基于多尺度几何嵌入卷积神经网络的股骨头坏死指标预测系统，本发明专利技术涉及股骨头坏死指标预测系统。本发明专利技术为解决现有股骨头坏死指标预测准确率低的问题。过程为：图像处理主模块用于获得预处理后的图像；神经网络主模块用于搭建多尺度几何嵌入卷积神经网络模型；训练主模块利用预处理后的图像对搭建好的网络模型进行训练，并获得训练好的多尺度几何嵌入卷积神经网络模型；检测主模块用于加载训练好的网络模型，对待测试图像进行分割，分割出股骨头区域；指标模块用于对获取的分割出的股骨头区域进行分割，分割出坏死区域，统计坏死区域中的像素数量作为坏死面积，计算坏死面积与股骨头面积的比例。本发明专利技术用于图像处理和人工智能领域。领域。领域。

【技术实现步骤摘要】
基于多尺度几何嵌入卷积神经网络的股骨头坏死指标预测系统


[0001]本专利技术属于图像处理和人工智能领域，具体涉及股骨头坏死指标预测系统。

技术介绍

[0002]股骨头坏死是由骨细胞死亡或缺血引起的一种髋关节疾病。股骨头坏死的临床表现为关节疼痛、活动困难，严重者可导致股骨头塌陷。近年来，股骨头坏死的发病率逐年增加，根据流行病学研究报告显示，美国每年有2万到3万例新病例，中国每年报告10万至20万例病例。早期股骨头坏死可通过药物等保守治疗方案进行治疗，但严重的股骨头坏死需要全髋关节置换手术，因此准确的股骨头坏死分级至关重要。髋关节核磁共振图像因其良好的影像学特征在股骨头坏死的诊断中得到了广泛的应用。在临床诊断过程中，医生依据Steinberg分期标准进行诊断，它根据坏死面积与股骨头面积的比例对股骨头坏死进行分级。但是，由于病例数量多，医生手动进行像素级别的股骨头分割和坏死区域的分割是一项耗时耗力的工作。在实际过程中医生通常经验大致判断股骨头面积、坏死面积以及两者的比例。随着计算机自动化辅助诊断技术的发展，基于图像处理方法所设计的自动化股骨头坏死诊断系统可以为医生临床诊断节省大量时间。
[0003]现有的股骨头坏死计算机辅助诊断系统主要包括两类。一类是基于传统图像处理算法的，如形态学方法、图像滤波器方法、图形学方法等。传统图像处理算法多为无监督算法，对于单幅图像可能有较好的效果，对于大规模数据集则泛化性能较差。另一类是基于卷积神经网络的方法。受益于近年来人工智能技术的快速发展和计算设备的能力提升，基于卷积神经网络的方法已经成为目前股骨头坏死辅助诊断性能较好的方法。
[0004]然而，综合考虑卷积神经网络的特点，现有技术仍旧存在许多问题：
[0005](1)现有的基于卷积神经网络的方法多为分类网络，其输入为股骨头核磁图像，输出直接为病变分级结果。这一类方法不能提供股骨头面积、坏死面积、比例等医生关注的病理信息，不能和医生临床诊断过程中使用的Steinberg分期标准进行对应。
[0006](2)在核磁图像中，股骨头区域有固定的形状特征，不同的图像之间总体形状特征相似，只有细节部分有略微不同。现有的基于卷积神经网络的方法忽略了医学图像中固有的形状信息，没有很好的利用这些形状信息提高诊断性能。

技术实现思路

[0007]本专利技术为解决现有基于卷积神经网络的股骨头坏死辅助诊断系统不能提供股骨头面积、坏死面积、比例等病理信息，不能很好利用形状特征，导致股骨头坏死指标预测准确率低的问题，提出了基于多尺度几何嵌入卷积神经网络的股骨头坏死指标预测系统。
[0008]基于多尺度几何嵌入卷积神经网络的股骨头坏死指标预测系统包括：
[0009]图像处理主模块、神经网络主模块、训练主模块、检测主模块和指标模块；
[0010]所述图像处理主模块用于采集髋关节核磁共振图像，对采集的髋关节核磁共振图
像进行预处理，获得预处理后的图像；
[0011]所述神经网络主模块用于搭建多尺度几何嵌入卷积神经网络模型；
[0012]所述训练主模块利用预处理后的图像对搭建好的多尺度几何嵌入卷积神经网络模型进行训练，并获得训练好的多尺度几何嵌入卷积神经网络模型；
[0013]所述检测主模块用于加载训练好的多尺度几何嵌入卷积神经网络模型，对待测试图像进行分割，分割出股骨头区域；
[0014]所述指标模块用于对获取的分割出的股骨头区域进行分割，分割出坏死区域，统计坏死区域中的像素数量作为坏死面积，计算坏死面积与股骨头面积的比例。
[0015]本专利技术的有益效果为：
[0016]1、本专利技术首次提出了一种基于多尺度几何嵌入卷积神经网络的股骨头区域分割系统，该系统对于图像中几何特征和像素特征分别建立通道进行优化，以提高股骨头分割效果。并且在几何通道中还使用了多尺度混合连接的方法，提高了特征提取性能。
[0017]2、本专利技术在多尺度几何嵌入卷积神经网络分割出的股骨头区域的基础上，设计了自适应阈值分割算法对坏死区域进行分割。基于此，本专利技术可以提供股骨头区域面积、坏死面积、两者的比例等重要病理信息，使之可以配合医生临床过程中使用的Steinberg分期标准。
[0018]3、由实验可知，本专利技术有着良好的性能，多尺度几何嵌入卷积神经网络对于股骨头区域的分割正确率可以达到97.73％，灵敏度可以达到91.17％，特异性可以达到99.40％。整体系统对于股骨头坏死的诊断正确率可以达到90.80％，具有先进水平。
附图说明
[0019]图1为本专利技术系统的流程图；
[0020]图2为多尺度几何嵌入卷积神经网络示意图；
[0021]图3为自适应阈值方法分割坏死区域示意图；
[0022]图4a为原始图像1股骨头坏死分级结果图；
[0023]图4b为原始图像2股骨头坏死分级结果图；
[0024]图4c为原始图像3股骨头坏死分级结果图；
[0025]图4d为原始图像4股骨头坏死分级结果图。
具体实施方式
[0026]具体实施方式一：本实施方式基于多尺度几何嵌入卷积神经网络的股骨头坏死指标预测系统包括：
[0027]本专利技术的流程图如图1所示，具体如下：
[0028]图像处理主模块、神经网络主模块、训练主模块、检测主模块和指标模块；
[0029]所述图像处理主模块用于采集髋关节核磁共振图像，对采集的髋关节核磁共振图像进行预处理，获得预处理后的图像；
[0030]所述神经网络主模块用于搭建多尺度几何嵌入卷积神经网络模型；
[0031]所述训练主模块利用预处理后的图像对搭建好的多尺度几何嵌入卷积神经网络模型进行训练，并获得训练好的多尺度几何嵌入卷积神经网络模型；
[0032]所述检测主模块用于加载训练好的多尺度几何嵌入卷积神经网络模型，对待测试图像进行分割，分割出股骨头区域；
[0033]所述指标模块用于对获取的分割出的股骨头区域进行分割，分割出坏死区域，统计坏死区域中的像素数量作为坏死面积，计算坏死面积与股骨头面积的比例。
[0034]具体实施方式二：本实施方式与具体实施方式一不同的是：所述图像处理主模块用于采集髋关节核磁共振图像，对采集的髋关节核磁共振图像进行预处理，获得预处理后的图像；具体过程为：
[0035]步骤A1、获取髋关节核磁共振图像，裁剪髋关节中的股骨头部分，将裁剪出的图像缩放为256
×
256大小，并进行图像归一化；
[0036]步骤A2、设计股骨头核磁共振图像训练加载器，循环读取步骤A1处理之后的图像并进行数据增强，获得预处理后的图像；
[0037]所述数据增强包括随机水平翻转、随机垂直翻转以及随机对比度增强；
[0038]预处理后的图像作为多尺度几何嵌入卷积神经网络模型的输入。
[0039]其它步骤及参数与具体实施方式一相同。
[0040]具体实施方式三：本实施方式与具体实施方式本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于多尺度几何嵌入卷积神经网络的股骨头坏死指标预测系统，其特征在于：所述包括：图像处理主模块、神经网络主模块、训练主模块、检测主模块和指标模块；所述图像处理主模块用于采集髋关节核磁共振图像，对采集的髋关节核磁共振图像进行预处理，获得预处理后的图像；所述神经网络主模块用于搭建多尺度几何嵌入卷积神经网络模型；所述训练主模块利用预处理后的图像对搭建好的多尺度几何嵌入卷积神经网络模型进行训练，并获得训练好的多尺度几何嵌入卷积神经网络模型；所述检测主模块用于加载训练好的多尺度几何嵌入卷积神经网络模型，对待测试图像进行分割，分割出股骨头区域；所述指标模块用于对获取的分割出的股骨头区域进行分割，分割出坏死区域，统计坏死区域中的像素数量作为坏死面积，计算坏死面积与股骨头面积的比例。2.根据权利要求1所述基于多尺度几何嵌入卷积神经网络的股骨头坏死指标预测系统，其特征在于：所述图像处理主模块用于采集髋关节核磁共振图像，对采集的髋关节核磁共振图像进行预处理，获得预处理后的图像；具体过程为：步骤A1、获取髋关节核磁共振图像，裁剪髋关节中的股骨头部分，将裁剪出的图像缩放为256
×
256大小，并进行图像归一化；步骤A2、循环读取步骤A1处理之后的图像并进行数据增强，获得预处理后的图像；所述数据增强包括随机水平翻转、随机垂直翻转以及随机对比度增强。3.根据权利要求1或2所述基于多尺度几何嵌入卷积神经网络的股骨头坏死指标预测系统，其特征在于：所述神经网络主模块用于搭建多尺度几何嵌入卷积神经网络模型；具体过程为：多尺度几何嵌入卷积神经网络模型包括图像编码模块、几何解码模块、像素解码模块、几何解码模块损失函数层和像素解码模块损失函数层；所述图像编码模块包括：图像编码模块依次包括图像编码模块输入层、第一卷积单元、第二卷积单元、第三卷积单元、第四卷积单元、图像编码模块输出层；所述第一卷积单元依次包括第一3
×
3卷积层、第一ReLU激活层、第二3
×
3卷积层、第二ReLU激活层；所述第二卷积单元依次包括第三3
×
3卷积层、第三ReLU激活层、第四3
×
3卷积层、第四ReLU激活层；所述第三卷积单元依次包括第五3
×
3卷积层、第五ReLU激活层、第六3
×
3卷积层、第六ReLU激活层；所述第四卷积单元包括第七3
×
3卷积层、第七ReLU激活层；所述图像编码模块连接关系为：图像编码模块输入层连接第一卷积单元中的第一3
×
3卷积层，第一3
×
3卷积层连接第一ReLU激活层，第一ReLU激活层连接第二3
×
3卷积层，第二3
×
3卷积层连接第二ReLU激活层；对第二ReLU激活层输出图像特征进行0.5倍的下采样，采样结果输入到第二卷积单元
中的第三3
×
3卷积层，第三3
×
3卷积层连接第三ReLU激活层，第三ReLU激活层连接第四3
×
3卷积层，第四3
×
3卷积层连接第四ReLU激活层；对第四ReLU激活层输出图像特征进行0.5倍的下采样，采样结果输入到第三卷积单元中的第五3
×
3卷积层，第五3
×
3卷积层连接第五ReLU激活层，第五ReLU激活层连接第六3
×
3卷积层，第六3
×
3卷积层连接第六ReLU激活层；对第六ReLU激活层输出图像特征进行0.5倍的下采样，采样结果输入到第四卷积单元中的第七3
×
3卷积层，第七3
×
3卷积层连接第七ReLU激活层；第七ReLU激活层连接图像编码模块输出层；所述几何解码模块包括：几何解码模块输入层、第五卷积单元、第六卷积单元、第七卷积单元、几何解码模块输出层；所述第五卷积单元包括第八3
×
3卷积层、第八ReLU激活层；所述第六卷积单元包括第九3
×
3卷积层、第九ReLU激活层；所述第五卷积单元包括第十3
×
3卷积层、第十ReLU激活层；所述几何解码模块连接关系为：图像编码模块输出层输出特征分别作为几何解码模块输入层的输入、第五卷积单元中第八3
×
3卷积层的输入、第六卷积单元中第九3
×
3卷积层的输入、第七卷积单元中第十3
×
3卷积层的输入；对几何解码模块输入层特征进行2倍的上采样，采样结果分别作为第五卷积单元中第八3
×
3卷积层的输入、第六卷积单元中第九3
×
3卷积层的输入以及第七卷积单元中第十3
×
3卷积层的输入；第八3
×
3卷积层的输出连接第八ReLU激活层...

【专利技术属性】
技术研发人员：李翔，秦勇，佟川信，李明磊，蒋宇辰，吕松岑，罗浩，
申请(专利权)人：哈尔滨工业大学，
类型：发明
国别省市：