一种基于细粒度分类的骨龄评估方法技术

一种基于细粒度图像分类的骨龄评估方法，包括：步骤1)左手手腕骨X光片图像的获取；步骤2)输入本发明专利技术中设计的基于细粒度分类的骨龄评估网络进行骨龄评估；步骤3)获得骨龄评估结果。本发明专利技术利用细粒度图像分类的方法对左手手腕骨X光片进行骨龄评估，设计并实现了一个基于细粒度图像分类的骨龄评估网络，在进行骨龄评估时，仅需输入待评估的X光片以及X光片对应的性别，即可得到评估骨龄值。对于输入的X光片，骨龄评估网络能够自适应地提取出其中包含最多特征信息的若干兴趣区域，利用这些兴趣区域的图像特征来进行精确地骨龄评估。该发明专利技术对0至18岁青少年的左手手腕骨X光片都能进行准确地骨龄评估，具有较大地应用价值。具有较大地应用价值。具有较大地应用价值。

【技术实现步骤摘要】
一种基于细粒度分类的骨龄评估方法


[0001]本专利技术涉及一种基于细粒度分类的骨龄评估方法。

技术介绍

[0002]骨龄评估通常对左手手腕部的X光片图像进行分析，来判断个体的骨龄。传统的骨龄评估方法都是基于人工的，读片者通过比较待评估X光片与标准X光片中手腕部骨骼大小、形态上的差异，进行骨龄评估。传统的骨龄评估方法有计数法、图谱法以及计分法三类。这些评估方法都需要具有一定专业知识的专家来进行，一张X光片的评估往往花费时间很久。得益于神经网络的发展，越来越多基于深度学习的骨龄评估方法被提出，这些方法能够在几秒的时间内就完成对一张X光片骨龄评估，且评估结果的准确性与骨龄领域的相关专家相当。在这些方法中，一部分方法直接对整张X光片图像进行特征提取来进行骨龄评估，这样的方法虽然对整张X光片的特征进行了利用，但无法确定X光片中哪些部分对于骨龄评估起到了关键作用，方法的可解释性较低。另一部分方法首先对X光片进行分割，提取出兴趣区域，再利用卷积神经网络提取这些兴趣区域的图像特征来进行骨龄评估，这些方法可解释性较高，而兴趣区域的选择大多基于计分法的评判标准，需要一定的先验知识以及对目标兴趣区域的额外标注。

技术实现思路

[0003]本专利技术要克服现有技术的上述缺点，提供一种基于细粒度分类的骨龄评估方法。
[0004]本专利技术解决技术问题采用如下技术方案：
[0005]一种基于细粒度分类的骨龄评估方法，包括以下步骤：
[0006]步骤1：左手手腕骨X光片图像的获取；
[0007]步骤2：输入本专利技术中设计的基于细粒度分类的骨龄评估网络进行骨龄评估；
[0008]步骤3：获得骨龄评估结果。
[0009]步骤1具体包括：
[0010]1)使用python库函数scipy.misc.imread()函数读取待评估的X光片图像，保存为array数据类型。
[0011]2)使用python库函数Image.fromarray()函数将array数据类型转化为Image数据类型。
[0012]3)使用python库函数transforms.Resize()函数将图像数据都转化成448*448的大小，对所有待评估的X光片图像都使用相同的大小。
[0013]4)使用python库函数transforms.ToTensor()将图像数据转化为Tensor向量，以供后续的骨龄评估网络使用。
[0014]步骤2使用的骨龄评估网络分为4个部分，分别是特征提取器、兴趣区域选择子网、指导子网和评估子网：
[0015]1)特征提取器；
[0016]使用ResNet50作为特征提取器来提取左手手腕部X光片的图像特征。将ResNet50网络最后的全连接层和Softmax层去除，仅使用网络的特征提取部分。经过特征提取器，将X光片中地图像特征提取出来，生成特征图。
[0017]2)兴趣区域选择子网；
[0018]兴趣区域选择子网的主要作用就是根据特征提取器所提取出的图像特征，选取出X光片中具有最大信息量的兴趣区域，即具有最多图像特征的兴趣区域。
[0019]兴趣区域选择子网的输入为特征提取器所生成的特征图，对这些特征图，采用了特征金字塔网络(Feature Pyramid Networks,FPN)+路径聚合网络(Path Aggregation Network，PAN)的结构对不同的特征进行了特征融合，其结构如图所示。在特征融合后，特征图中的语言信息以及空间信息被增强，再根据特征图中响应值，选择出具有最大信息量的兴趣区域，记为R1，R2，
…
，RK。接着计算K个兴趣区域中的信息量，信息量定义为I(R)，兴趣区域选择子网的目的是按顺序选出K个ROI,R1，R2，...，RK，使得它们满足条件I(R1)>I(R2)>
…
>I(Rk)。
[0020]3)指导子网；
[0021]指导子网的作用是对兴趣区域选择子网进行优化，使兴趣区域选择子网能够选出最具信息量的ROI。对于ROI选择子网选出的K的兴趣区域，R1，R2，
…
，RK，指导子网对这些兴趣分别进行分类，计算出其置信度C(R1)，C(R2)，
…
，C(RK)，并将其反馈给兴趣区域选择子网。置信度指的是将兴趣区域分类为其对应的真实标签的概率，置信度越高证明其对于整个手腕骨X光片进行分类具有越大帮助作用。兴趣区域选择子网根据指导子网的反馈，在网络训练过程中不断优化，使得最后选出的兴趣区域满足公式(1)：
[0022][0023]即对于ROI选择子网中被选出的ROI，如果其信息量更大，其置信度也更高。
[0024]4)评估子网；
[0025]评估子网的作用是进行骨龄评估。对于输入的手腕骨X光片，特征提取器提取出整张图片的特征，兴趣区域选择子网选出K个具有最大信息量的兴趣区域，通过特征提取器提取出图像特征。在骨龄评估子网中，将这K+1个特征连接起来，形成新的图像特征特征。经过两层全连接层，得到最终的骨龄评估结果。
[0026]步骤3：获得骨龄评估结果
[0027]在进行骨龄评估是，将0～18岁按月进行划分，每个月为一个分类，共228个分类。
[0028]待评估的左手手腕骨X光片输入到骨龄评估网络后，会输出其对应的骨龄值，范围在0～228，本专利技术在进行骨龄评估时精度精确到月。
[0029]本专利技术具有如下有益效果：
[0030](1)准确地对左手手腕骨X光片进行骨龄评估。
[0031](2)可以选取出X光片中具有代表性的兴趣区域，即具有最大信息量的特征区域。
[0032](3)该专利技术对0至18岁青少年的左手手腕骨X光片都能进行准确地骨龄评估，具有较大地应用价值。
附图说明
[0033]图1是本专利技术的总体流程图。
[0034]图2是本专利技术中兴趣区域选取子网中的FPN+PAN的结构图。
具体实施方式
[0035]下面结合附图对本专利技术的技术方案作进一步阐述。
[0036]一种基于细粒度分类的骨龄评估方法，包括如下步骤：
[0037]步骤1：左手手腕骨X光片图像的获取；
[0038]步骤2：输入本专利技术中设计的基于细粒度分类的骨龄评估网络进行骨龄评估；
[0039]步骤3：获得骨龄评估结果。
[0040]步骤1具体包括：
[0041]1)使用python库函数scipy.misc.imread()函数读取待评估的X光片图像，保存为array数据类型。
[0042]2)使用python库函数Image.fromarray()函数将array数据类型转化为Image数据类型。
[0043]3)使用python库函数transforms.Resize()函数将图像数据都转化成448*448的大小，对所有待评估的X光片图像都使用相同的大小。<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于细粒度分类的骨龄评估方法，包括以下步骤：步骤1：左手手腕骨X光片图像的获取；具体包括：1)使用python库函数scipy.misc.imread()函数读取待评估的X光片图像，保存为array数据类型；2)使用python库函数Image.fromarray()函数将array数据类型转化为Image数据类型；3)使用python库函数transforms.Resize()函数将图像数据都转化成448*448的大小，对所有待评估的X光片图像都使用相同的大小；4)使用python库函数transforms.ToTensor()将图像数据转化为Tensor向量，以供后续的骨龄评估网络使用；步骤2：输入基于细粒度分类的骨龄评估网络进行骨龄评估；所述的骨龄评估网络包括特征提取器、兴趣区域选择子网、指导子网和评估子网：所述的特征提取器使用ResNet50作为特征提取器来提取左手手腕部X光片的图像特征；将ResNet50网络最后的全连接层和Softmax层去除，仅使用网络的特征提取部分；经过特征提取器，将X光片中地图像特征提取出来，生成特征图；所述的兴趣区域选择子网根据特征提取器所提取出的图像特征，选取出X光片中具有最大信息量的兴趣区域，即具有最多图像特征的兴趣区域；兴趣区域选择子网的输入为特征提取器所生成的特征图，对这些特征图，采用了特征金字塔网络(Feature Pyramid Networks,FPN)+路径聚合网络(Path Aggregation Network，PAN)的结构对不同的特征进行了特征融合，其结构如图所示；在特征融合后，特征图中的语言信息以及空间信息被增强，再根据特征图中响应值，...

【专利技术属性】
技术研发人员：毛科技，张拓，陈凯彦，陆伟，
申请(专利权)人：浙江工业大学，
类型：发明
国别省市：