基于非下采样轮廓波变换和卷积神经网络的骨龄评估方法技术

本发明专利技术公开了一种基于非下采样轮廓波变换和卷积神经网络的X光图像骨龄评估方法，包括：首先对尺寸归一化后的X光图像进行非下采样轮廓波变换，得到多个尺度下的高频方向子带和一幅低频系数图，然后将它们输入到一个多通道卷积神经网络中，得到不同尺度下的特征图，最后将这些特征图层叠在一起后输入到一个由若干全连接层构成的回归网络中得到骨龄预测值；上述过程以一个端到端的网络结构实现，并使用误差反向传播机制实现网络训练。本发明专利技术方法利用非下采样轮廓波变换对原始空间域图像进行特征预提取和分离，能够克服现有深度学习方法在小规模数据集上网络训练的困难，提升网络的泛化性能，从而为临床应用提供更加准确可靠的评估方法。

Bone Age Assessment Method Based on Nonsubsampled Contour Wave Transform and Convolutional Neural Network

The present invention discloses a bone age assessment method of X-ray image based on non-downsampling contour wave transform and convolution neural network. Firstly, the normalized X-ray image is transformed by non-downsampling contour wave to obtain high-frequency directional subbands and a low-frequency coefficient map at multiple scales, and then they are input into a multi-channel convolution neural network to obtain different scales. Finally, these feature maps are overlapped and input into a regression network consisting of several full-connection layers to obtain the bone age prediction value. The above process is implemented in an end-to-end network structure, and network training is implemented using error back propagation mechanism. The method of the invention uses non-downsampling contour wave transform to pre-extract and separate the features of the original spatial domain image, overcomes the difficulty of network training of the existing deep learning method on small-scale data sets, improves the generalization performance of the network, and thus provides a more accurate and reliable evaluation method for clinical application.

【技术实现步骤摘要】
基于非下采样轮廓波变换和卷积神经网络的骨龄评估方法
本专利技术涉及医学图像分析领域，具体涉及一种基于非下采样轮廓波变换和卷积神经网络的骨龄评估方法。
技术介绍
作为儿科放射学中的一种常用技术，骨龄评估主要用于判断儿童骨骼发育的成熟程度，对内分泌紊乱诊断、生长激素治疗监控、青少年最终身高预测等多种临床问题具有十分重要的意义。目前，临床上最为流行的骨龄评估方法是基于受试者左手及手腕的X光图像，医生通过分析X光图像中相应骨骼结构的发育程度，完成对受试者的骨龄评估。然而，骨龄评估结果的准确性严重依赖于医生的经验和水平，不同的医生评估的结果可能差异很大，即使对于同一位医生，其多次评价的结果也可能存在一定的差别。近年来，基于计算机辅助的自动骨龄评估方法成为医学图像分析领域一个活跃的研究方向，其基本思想是采用机器学习方法，使计算机具有“读”骨龄片的能力，能够自动给出一个骨龄估计值。借助于计算机强大的计算能力，计算机辅助自动骨龄评估可以在很短的时间完成评估任务，很大程度上减轻医生的工作负担，为医生提供参考和帮助。十几年来，多种自动骨龄评估方法被国内外研究学者提出，这些方法通常将骨龄评估问题建模为一个分类问题或者回归问题，通常包括手部区域分割，感兴趣区域提取、特征提取、分类器/回归器学习等步骤。最近，深度学习理论和方法在越来越多的医学图像分析问题领域获得了巨大的成功。在骨龄评估方向，近两年也逐渐开始出现基于深度学习(主要是卷积神经网络)的相关方法，并且展现出相对于传统方法的优势，为解决该问题提供了新途径。可参考文献：H.Lee,S.Tajmir,J.Lee,etal.,“Fullyautomateddeeplearningsystemforboneageassessment”,JournalofDigitalImaging,vol.30,no.4,pp.427-441,2017和C.Spampinato,S.Palazzo,D.Giordano,etal.,“DeeplearningforautomatedskeletalboneageassessmentinX-rayimages”,MedicalImageAnalysis,vol.36,pp.41-51,2017。在目前已有的基于深度学习的骨龄评估方法中，神经网络的输入都是空间域X光图像，而没有进行特征的预提取。然而，在众多医学图像相关应用中，带标签(专家标注)的影像获取成本很高，数据量往往非常有限，这给网络的训练带来了很大困难。即使通过迁移学习的方式利用其它自然图像任务中预训练的网络模型，在样本规模很小的情况下也难以保证网络训练的水平，限制了评估系统的精度。
技术实现思路
本专利技术为克服现有技术存在的问题，提供了一种基于非下采样轮廓波变换和卷积神经网络的骨龄评估方法，以期能解决现有基于深度学习的方法在小规模数据集上进行网络训练困难的问题，提升网络的泛化性能，从而为临床应用提供更加准确可靠的评估方法。本专利技术为解决上述问题采用如下技术方案：本专利技术一种基于非下采样轮廓波变换和卷积神经网络的骨龄评估方法的特点在于，包括如下步骤：步骤1：以手部X光图像作为原始输入图像并进行插值和边界连续型延拓的空间尺寸处理，得到归一化大小的手部X光图像；步骤2：对所述归一化后的手部X光图像进行非下采样轮廓波变换处理，得到低频分量和不同尺度下的高频方向子带；步骤2.1：对所述归一化后的手部X光图像进行非下采样金字塔分解，得到低频分量C0和L个尺度的高频分量{C1,C2,…,Ci,…,CL}，其中Ci表示第i个尺度的高频分量，1≤i≤L，L为分解层数；步骤2.2：对第i个尺度的高频分量Ci进行非下采样方向滤波，得到第i个尺度下的高频方向子带其中Ci,j表示第i个尺度下的第j个高频方向子带，1≤j≤Ki，Ki为第i个尺度下高频方向子带的数目，从而得到L个尺度下的高频方向子带；步骤3：第i个尺度下的高频方向子带进行层叠处理，得到第i个立体数据Di，从而得到L个立体数据{D1,D2,…,Di,…,DL}；将低频分量C0复制并扩展成一个三通道的立体数据，并记为第L+1个立体数据DL+1；由L个立体数据{D1,D2,…,Di,…,DL}和第L+1个立体数据DL+1构成立体数据集合{D1,D2,…,Dk,…,DL+1}，1≤k≤L+1；步骤4：构造一个包含L+1个通道的卷积神经网络，且每个通道包含若干个卷积层和最大池化层；将第k个立体数据Dk对应输入到第k个通道中，得到第k组输出特征图Fk＝Conv(Dk)，其中Conv表示卷积网络的前向过网络算子，从而得到L+1组特征图{F1,F2,…,Fk,…,FL+1}；步骤5：将所述L+1组特征图{F1,F2,…,Fk,…,FL+1}进行层叠处理，得到特征图集合F；步骤6：构造包含若干个全连接层的回归网络，且令最后一层的神经元数量为1；定义回归网络的前向过网络算子为Reg；将所述特征图集合F输入到所述回归网络中，得到骨龄预测结果R＝Reg(F)。与现有基于深度学习的骨龄评估方法相比，本专利技术方法对输入X光骨龄图像进行非下采样轮廓波变换，获得图像在不同尺度下的特征表示，将它们各自输入到一个卷积网络进行进一步的特征提取，最后将各个尺度下卷积网络输出的特征融合在一起用于骨龄预测，其特色之处在于：第一，使用非下采样轮廓波变换可以得到原始图像一组丰富的特征，是一种特征预提取的方式，同时也可视为对原始数据集的一种扩充方法，有效克服了现有深度学习方法在小规模数据集下进行网络训练面临的困难，提升了网络的泛化性能。第二，使用非下采样轮廓波变换可以对原始空间域图像的特征信息实现很好的分离，不同尺度的特征可以分开处理，再在后端进行融合，这种方式显著增加了卷积神经网络结构设计的灵活性，提高了特征提取的质量，进而提升了骨龄评估系统的性能。附图说明图1为本专利技术骨龄评估方法的流程图；图2为本专利技术一幅X光骨龄图像示意图；图3为本专利技术X光图像尺寸归一化结果示意图；图4为现有技术中非下采样轮廓波变换原理示意图；图5为本专利技术X光图像进行非下采样轮廓波变换的结果示意图；图6为本专利技术使用的VGGNet-16网络卷积部分结构示意图；图7为本专利技术骨龄评估网络结构示意图。具体实施方式图1为本专利技术一种基于非下采样轮廓波变换和卷积神经网络的骨龄评估方法流程图，共包括以下步骤：步骤1：以手部X光图像作为原始输入图像并进行插值和边界连续型延拓的空间尺寸处理，得到归一化大小的手部X光图像；在本实施例中，以美国南加州大学提供的公开骨龄评估数据集DigitalHandAtlas中的一幅骨龄图像为例，如图2所示，受试者是一位实际年龄为10.49岁的亚裔女孩，该图像的原始空间分辨率是1526*1893像素。由于后续卷积网络需要输入图像的空间分辨率固定，同时考虑到计算效率和存储代价，故需要对原始输入图像的尺寸进行归一化。这里，将原始输入图像归一化到256×256像素，同时通过连续型边界延拓保持图像内容形状不变。具体做法为，将图像先进行保持长宽比的插值，使长边为256像素，然后对短边两端进行连续型边界延拓至256像素。图3为图2中原始X光图像进行尺寸归一化后的结果。步骤2：对归一化后的手部X光图像进行非下采样轮廓波变换处理，得到低本文档来自技高网...

【技术保护点】
1.一种基于非下采样轮廓波变换和卷积神经网络的骨龄评估方法，其特征在于，包括如下步骤：步骤1：以手部X光图像作为原始输入图像并进行插值和边界连续型延拓的空间尺寸处理，得到归一化大小的手部X光图像；步骤2：对所述归一化后的手部X光图像进行非下采样轮廓波变换处理，得到低频分量和不同尺度下的高频方向子带；步骤2.1：对所述归一化后的手部X光图像进行非下采样金字塔分解，得到低频分量C0和L个尺度的高频分量{C1,C2,…,Ci,…,CL}，其中Ci表示第i个尺度的高频分量，1≤i≤L，L为分解层数；步骤2.2：对第i个尺度的高频分量Ci进行非下采样方向滤波，得到第i个尺度下的高频方向子带

【技术特征摘要】
1.一种基于非下采样轮廓波变换和卷积神经网络的骨龄评估方法，其特征在于，包括如下步骤：步骤1：以手部X光图像作为原始输入图像并进行插值和边界连续型延拓的空间尺寸处理，得到归一化大小的手部X光图像；步骤2：对所述归一化后的手部X光图像进行非下采样轮廓波变换处理，得到低频分量和不同尺度下的高频方向子带；步骤2.1：对所述归一化后的手部X光图像进行非下采样金字塔分解，得到低频分量C0和L个尺度的高频分量{C1,C2,…,Ci,…,CL}，其中Ci表示第i个尺度的高频分量，1≤i≤L，L为分解层数；步骤2.2：对第i个尺度的高频分量Ci进行非下采样方向滤波，得到第i个尺度下的高频方向子带其中Ci,j表示第i个尺度下的第j个高频方向子带，1≤j≤Ki，Ki为第i个尺度下高频方向子带的数目，从而得到L个尺度下的高频方向子带；步骤3：第i个尺度下的高频方向子带进行层叠处理，得到第i个立体数据Di，从而得到L个立体数据{D1...

【专利技术属性】
技术研发人员：刘羽，张超，陈勋，成娟，李畅，宋仁成，
申请(专利权)人：合肥工业大学，
类型：发明
国别省市：安徽,34