一种应用于骨骼成熟度评估的方法及其系统技术方案

本发明专利技术涉及骨骼判别技术领域，特别涉及一种应用于骨骼成熟度评估的方法及其系统；本发明专利技术通过利用迁移学习方法对骨骼图像进行特征提取，并且利用基于骨骼特征生成和特征识别的半监督生成对抗网络对骨骼成熟度进行识别，解决了高分辨率骨骼输入图像的分类和识别中的参数量过大以及过拟合等问题。

【技术实现步骤摘要】
一种应用于骨骼成熟度评估的方法及其系统
本专利技术涉及骨骼判别
，特别涉及一种应用于骨骼成熟度评估的方法及其系统。
技术介绍
骨骼生长阶段分类是衡量人体生长成熟度的一项重要指标之一，可以通过对青少年骨骼成熟度的测定预测其生长发育潜力或对特定疾病的手术时间以及疾病发展情况进行辅助预测。传统的骨骼成熟度评估方法是专家通过读片与图谱进行对比，或是专家对各骨骼骨骺的发育程度进行打分，通过叠加计量从而获得骨骼成熟度预测。传统方法高度依赖于专业医师的经验，并且不同医师之间进行人工读片具有非常大的误差，人工读片的时间成本以及人力成本非常高。使用现有的深度学习技术进行骨骼生长阶段评估的辅助诊断模型依赖于大量的有标注训练数据，并且极度依赖高质量的有效标签，使用深度学习进行骨骼成熟度评估需要大量的有标注骨骼图像样本，而数据的标注工作需要专业医师团队花费巨量的人工成本，高质量的标签依赖医师团队经验的丰富程度，并且对骨骼图像的标注需要花费巨大的精力，从而使有效的训练样本难以获取。另外，对于庞大的数据集的标注工作需要消耗巨大的时间成本，并且标注质量易受医师精力以及体力因素制约，对于大量骨骼样本的标注工作来说样本的标注质量难以保证。
技术实现思路
本专利技术主要解决的技术问题是提供一种应用于骨骼成熟度评估的方法，通过利用迁移学习方法对骨骼图像进行特征提取，并且利用基于骨骼特征生成和特征识别的半监督生成对抗网络对骨骼成熟度进行识别，解决了高分辨率骨骼输入图像的分类和识别中的参数量过大以及过拟合等问题，还提供一种应用于骨骼成熟度评估的系统。为解决上述技术问题，本专利技术采用的一个技术方案是：提供一种应用于骨骼成熟度评估的方法，其中，包括如下步骤：步骤S1、建立具有图像特征提取能力的密集连接网络模型，对密集连接网络模型进行预训练后，将所述密集连接网络模型中的密集连接块进行模块转移，生成可获得骨骼图像初级特征的骨骼特征提取模块；步骤S2、将具有高斯分布的一维噪声输入到多通道特征生成器中，所述多通道特征生成器中各个通道内生成与所述骨骼特征提取模块提取出的特征尺寸大小相同的骨骼特征图，再将所述多通道特征生成器中各个通道内的各个骨骼特征图进行级联拼接，拼接后获得维度与所述骨骼特征提取模块提取出的特征维度相同的骨骼特征图，并将该骨骼特征图输出；步骤S3、将真实图像通过所述骨骼特征提取模块获得骨骼图像初级特征和所述多通道特征生成器生成的骨骼特征图均输入至胶囊骨骼特征判别器内，从而获得保留空间位置信息的骨骼实例化特征向量，获取该骨骼实例化特征向量所对应的类别，则可知该真实图像的骨骼成熟度评估结果。作为本专利技术的一种改进，还包括步骤S4、在所述多通道特征生成器中构建骨骼特征图的损失函数，继而在所述胶囊骨骼特征判别器内利用交叉熵对该损失函数进行定义，在该损失函数内提取所述骨骼实例化特征向量，再而获取该骨骼实例化特征向量所对应的类别，则可知该真实图像的骨骼成熟度评估结果。作为本专利技术的进一步改进，步骤S1包括：步骤S11、建立密集连接网络模型，将预训练数据集的训练集图像作为输入图像；步骤S12、将输入图像通过若干个密集连接块和过渡层进行特征提取，输出预测结果。作为本专利技术的更进一步改进，步骤S1还包括：步骤S13、利用所述预测结果与所述预训练数据集的真实图像的标签计算损失函数，再反向传播优化网络参数，通过该网络参数在所述密集连接网络模型进行训练，使所述密集连接网络模型具有图像特征提取能力；步骤S14、将所述预训练数据集进行模块迁移，生成可获得骨骼图像初级特征的骨骼特征提取模块，将骨骼的真实图像输入至所述骨骼特征提取模块中，获得骨骼图像初级特征。作为本专利技术的更进一步改进，步骤S2包括：步骤S21、将具有高斯分布的一维噪声输入到所述多通道特征生成器中；步骤S22、对于所述多通道特征生成器内每个通道内的特征生成器，将输入的噪声通过若干个反卷积层，经过反卷积层的反卷积后将生成的骨骼特征图逐层放大，使生成的每张骨骼特征图与所述骨骼特征提取模块提取出的特征维度相同。作为本专利技术的更进一步改进，步骤S2还包括：步骤S23、将所述多通道特征生成器的每个通道内的特征生成器生成的骨骼特征图进行级联拼接，拼接后获得维度与所述骨骼特征提取模块提取出的特征维度相同的骨骼特征图；步骤S24、将拼接后的骨骼特征图输入到胶囊骨骼特征判别器内。作为本专利技术的更进一步改进，步骤S3包括：步骤S31、将真实图像通过所述骨骼特征提取模块获得的骨骼图像初级特征和所述多通道特征生成器生成的骨骼特征图均输入至所述胶囊骨骼特征判别器内；步骤S32、通过若干个卷积层对所述骨骼图像初级特征和骨骼特征图进行提取特征向量。作为本专利技术的更进一步改进，步骤S3还包括：步骤S33、将提取的特征向量输入胶囊层，从而获得保留空间位置信息的骨骼实例化特征向量；步骤S34、获取该骨骼实例化特征向量所对应的类别，则可知该真实图像的骨骼成熟度评估结果。一种应用于骨骼成熟度评估的系统，其中，包括：预训练骨骼图像特征模块，用于建立密集连接网络模型，对所述密集连接网络模型进行预训练从而产生图像特征提取能力；骨骼特征提取模块，用于通过真实图像获得骨骼图像初级特征；多通道特征生成器，用于生成与所述骨骼特征提取模块提取出的特征尺寸大小相同的骨骼特征图并进行级联拼接，拼接后获得维度与所述骨骼特征提取模块提取出的特征维度相同的骨骼特征图；胶囊骨骼特征判别器，用于获得保留空间位置信息的骨骼实例化特征向量。作为本专利技术的一种改进，还包括补偿模块，用于在所述多通道特征生成器中构建骨骼特征图的损失函数，继而在所述胶囊骨骼特征判别器内利用交叉熵对该损失函数进行定义。本专利技术的有益效果是：与现有技术相比，本专利技术通过利用迁移学习方法对骨骼图像进行特征提取，并且利用基于骨骼特征生成和特征识别的半监督生成对抗网络对骨骼成熟度进行识别，解决了高分辨率骨骼输入图像的分类和识别中的参数量过大以及过拟合等问题。附图说明图1为本专利技术的应用于骨骼成熟度评估的方法的步骤框图；图2为本专利技术的应用于骨骼成熟度评估的方法的实施例一；图3为本专利技术的应用于骨骼成熟度评估的方法的步骤S1的步骤框图；图4为本专利技术的应用于骨骼成熟度评估的方法的步骤S2的步骤框图；图5为本专利技术的应用于骨骼成熟度评估的方法的步骤S3的步骤框图；图6为尺骨与桡骨的结构示意图；图7为本专利技术中尺骨与桡骨的各骨骼成熟度阶段示意图；图8为本专利技术的应用于骨骼成熟度评估的系统的结构框图；图9为本专利技术中实施例二中胶囊骨骼特征判别器的胶囊层的运算机制框图；图10为本专利技术中实施例二中胶囊骨骼特征判别器的路由选择算法框图。具体实施方式现有的深度学习技术处理骨骼生长阶段评估问题的方法中，大部分模型在分类过程中提取骨骼图像特征的方式通常采用卷积以及池化操作，但是卷积神经网络在处理图像特征时，其不能够有效的检测特征的具体方向信息，从而丢失了特征的空间信息，这种空间变换信息的缺失最终会影响到骨骼成熟度预测模型的性能。所以在利用卷积网络进行尺骨桡骨生长阶段分类的任务中，只有对输入的骨骼数据使用数据增强等方式，对输入数据进行多样的空间变换，才能促使卷积网络对空间变化的学习，做到对旋转等位置变化信息更好的识别，但卷积网络其本质上存在易丢失图像的空间层次信本文档来自技高网...

【技术保护点】
1.一种应用于骨骼成熟度评估的方法，其特征在于，包括如下步骤：步骤S1、建立具有图像特征提取能力的密集连接网络模型，对密集连接网络模型进行预训练后，将所述密集连接网络模型中的密集连接块进行模块转移，生成可获得骨骼图像初级特征的骨骼特征提取模块；步骤S2、将具有高斯分布的一维噪声输入到多通道特征生成器中，所述多通道特征生成器中各个通道内生成与所述骨骼特征提取模块提取出的特征尺寸大小相同的骨骼特征图，再将所述多通道特征生成器中各个通道内的各个骨骼特征图进行级联拼接，拼接后获得维度与所述骨骼特征提取模块提取出的特征维度相同的骨骼特征图，并将该骨骼特征图输出；步骤S3、将真实图像通过所述骨骼特征提取模块获得骨骼图像初级特征和所述多通道特征生成器生成的骨骼特征图均输入至胶囊骨骼特征判别器内，从而获得保留空间位置信息的骨骼实例化特征向量，获取该骨骼实例化特征向量所对应的类别，则可知该真实图像的骨骼成熟度评估结果。

【技术特征摘要】
1.一种应用于骨骼成熟度评估的方法，其特征在于，包括如下步骤：步骤S1、建立具有图像特征提取能力的密集连接网络模型，对密集连接网络模型进行预训练后，将所述密集连接网络模型中的密集连接块进行模块转移，生成可获得骨骼图像初级特征的骨骼特征提取模块；步骤S2、将具有高斯分布的一维噪声输入到多通道特征生成器中，所述多通道特征生成器中各个通道内生成与所述骨骼特征提取模块提取出的特征尺寸大小相同的骨骼特征图，再将所述多通道特征生成器中各个通道内的各个骨骼特征图进行级联拼接，拼接后获得维度与所述骨骼特征提取模块提取出的特征维度相同的骨骼特征图，并将该骨骼特征图输出；步骤S3、将真实图像通过所述骨骼特征提取模块获得骨骼图像初级特征和所述多通道特征生成器生成的骨骼特征图均输入至胶囊骨骼特征判别器内，从而获得保留空间位置信息的骨骼实例化特征向量，获取该骨骼实例化特征向量所对应的类别，则可知该真实图像的骨骼成熟度评估结果。2.根据权利要求1所述的一种应用于骨骼成熟度评估的方法，其特征在于，还包括步骤S4、在所述多通道特征生成器中构建骨骼特征图的损失函数，继而在所述胶囊骨骼特征判别器内利用交叉熵对该损失函数进行定义，在该损失函数内提取所述骨骼实例化特征向量，再而获取该骨骼实例化特征向量所对应的类别，则可知该真实图像的骨骼成熟度评估结果。3.根据权利要求1或2所述的一种应用于骨骼成熟度评估的方法，其特征在于，步骤S1包括：步骤S11、建立密集连接网络模型，将预训练数据集的训练集图像作为输入图像；步骤S12、将输入图像通过若干个密集连接块和过渡层进行特征提取，输出预测结果。4.根据权利要求3所述的一种应用于骨骼成熟度评估的方法，其特征在于，步骤S1还包括：步骤S13、利用所述预测结果与所述预训练数据集的真实图像的标签计算损失函数，再反向传播优化网络参数，通过该网络参数在所述密集连接网络模型进行训练，使所述密集连接网络模型具有图像特征提取能力；步骤S14、将所述预训练数据集进行模块迁移，生成可获得骨骼图像初级特征的骨骼特征提取模块，将骨骼的真实图像输入至所述骨骼特征提取模块中，获得骨骼图像初级特征。5.根据权利要求1或4所述的一种应用于骨骼...

【专利技术属性】
技术研发人员：王翔宇，王书强，申妍燕，
申请(专利权)人：中国科学院深圳先进技术研究院，
类型：发明
国别省市：广东,44