基于卷积神经网络和多重注意力机制的骨骼年龄评估方法技术

本发明专利技术公开了一种基于卷积神经网络和多重注意力机制的骨骼年龄评估方法，包括：训练阶段，主干网络输入为掌骨影像，通过特征提取器获得特征图F，进而得到骨龄回归值；多重注意力模块输入为特征图F，经通过压缩操作与注意力图拆分操作得到M个子注意力图，每个子注意力图再与特征图F点乘，进而得到对应的骨龄回归值；结合主干网络与多重注意力模块得到的骨龄回归值，采用多任务学习策略训练神经网络；测试阶段，将待测掌骨影像输入至训练后的神经网络中，通过其中主干网络得到骨龄评估值。上述模型可被端到端训练；同时能自动生成注意力分布图，具有更好的泛化性；此外，基于2D卷积神经网络，速度快，精度高，平均评估误差在4.1个月内。

【技术实现步骤摘要】
基于卷积神经网络和多重注意力机制的骨骼年龄评估方法
本专利技术涉及智能医学影像分析
，尤其涉及一种基于卷积神经网络和多重注意力机制的骨骼年龄评估方法。
技术介绍
传统的骨龄评估通常是对被测者的左手掌部和腕部进行X光摄片，然后借助通用标准进行骨龄评估。这一过程严重依赖医生的从业经验，同时也非常耗时。此外，不同人种、气候等条件下骨骼发育有很大差异，因此对应的标准也千差万别，这增加了骨龄评估的复杂性。为了加快评估速度、提升评估精度并减轻工作强度，基于人工智能的计算机辅助系统(CAD)应运而生，在骨龄评估中取得了超过人类专家的精度。然而，这些人工智能技术大多引入了精细的感兴趣区域标注，通过检测、分割的方法，关注特定的骨骼部位作为感兴趣区域(比如腕骨，近端指骨等等)，这带来了昂贵的标注成本和模型复杂度，限制了方法的实际应用价值。
技术实现思路
本专利技术的目的是提供一种基于卷积神经网络和多重注意力机制的骨骼年龄评估方法，训练成本与模型复杂度较低。本专利技术的目的是通过以下技术方案实现的：一种基于卷积神经网络和多重注意力机制的骨骼年龄评估方法，包括：构建包含主干网络与多重注意力模块的神经网络；训练阶段，主干网络输入为掌骨影像，通过特征提取器获得特征图F，基于特征图F得到骨龄回归值；多重注意力模块输入为特征图F，经通过压缩操作与注意力图拆分操作得到M个子注意力图，每个子注意力图再与特征图F点乘，基于点乘结果得到对应的骨龄回归值；结合主干网络与多重注意力模块得到的骨龄回归值，采用多任务学习策略训练神经网络；测试阶段，将待测掌骨影像输入至训练后的神经网络中，通过其中主干网络得到骨龄评估值。由上述本专利技术提供的技术方案可以看出，不需要额外感兴趣区域标注，能自动对感兴趣区域的注意力图，最终实现骨龄的自动化评估。该方法高度灵活，可以即插即用于多种主流卷积神经网络，同时额外仅需要极少的计算开支。附图说明为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。图1为本专利技术实施例提供的一种基于卷积神经网络和多重注意力机制的骨骼年龄评估方法的模型示意图。具体实施方式下面结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术的保护范围。本专利技术实施例提供一种基于卷积神经网络和多重注意力机制的骨骼年龄评估方法，主要包括：构建包含主干网络与多重注意力模块的神经网络；训练阶段，主干网络输入为掌骨影像，通过特征提取器获得特征图F，基于特征图F得到骨龄回归值；多重注意力模块输入为特征图F，经通过压缩操作与注意力图拆分操作得到M个子注意力图，每个子注意力图再与特征图F点乘，基于点乘结果得到对应的骨龄回归值；结合主干网络与多重注意力模块得到的骨龄回归值，采用多任务学习策略训练神经网络；测试阶段，将待测掌骨影像输入至训练后的神经网络中，通过其中主干网络得到骨龄评估值。为了便于理解，下面针对神经网络、网络训练及测试过程做详细的介绍。一、神经网络的组成及原理。如图1所示，为构建的神经网络示意图，包括主干网络与多重注意力模块两个部分。1)主干网络。主干网络的输入为掌骨影像(通常为左手掌骨影像)，通过特征提取器(例如，可通过卷积神经网络ResNet50实现)提取其特征图F，经过全局平均池化操作得到特征向量vBN，然后经全连接操作Φ(·)得到骨龄回归值EBN。2)多重注意力模块。以主干网络中的特征图F为输入，通过1×1的通道压缩操作Λ(·)，得到M个通道的多重注意力图Ω。将M通道的多重注意力图拆分为M个子注意力图ω1,ω2,...,ωM，每个子注意力图与主干网络中的特征图点乘，然后经过全局平均池化操作得到每个注意力增强后的特征向量与主干网络一样，同样经全连接操作Φ(·)得到各自的骨龄回归值二、网络训练。1)对于主干网络，优化目的是保证主要网络骨龄回归值尽可能接近真实骨龄数值。因此主干网络损失定义为一种回归损失，表示为：其中，gt为骨龄真实值，freg为L1损失函数freg(x,y)＝|x-y|，EBN为主干网络得到的骨龄回归值。2)对于多重注意力模块(RichAttention)，优化目的是保证生成多重感兴趣区域的注意力图，这要求多重注意力机制具有区分性和多样性。注意力的区分性意味着每个经注意力增强得到的特征向量都能够提供准确的年龄估计，注意力的多样性意味着经注意力增强得到的特征向量两两之间具有差异性。与主干网络相似，区分性元素的优化函数定义为一种回归损失，表示为：其中，为多重注意力模块中第k个通道得到的骨龄回归值。多样性元素要求，同一张输入影像的不同注意力增强特征向量应具有不同的语义，不同输入影像的相同注意力增强特征向量应具有相同的语义。可以简单地定义这些语义属性为对应通道的序号，即{1,2,...M}，并设计了一个输出为M个单元的全连接层Ψ(·)。将每一注意力增强特征向量经全连接操作Ψ(·)得到其语义属性的分类概率并将多样性损失定义为一种分类损失，表示为：其中，frec为交叉熵分类损失。最终，采用多任务学习策略训练神经网络，将整体损失定义为主干网络损失和多重注意力模块损失，表示为：其中，α,β,γ为超参数。在训练过程中，同时优化主干网络和多重注意力模块，不断提升骨龄评估精度。示例性的，超参数α,β,γ均设置为1，注意力子图数量M设置为4。三、网络测试。在测试过程中，由于神经网络的共享参数特点，多重注意力模块可以关闭，同时不影响主干网络的特征提取能力。因此关闭多重注意力模块，只采用主干网络的骨龄评估值。因此，本专利技术没有引入额外的计算量，这保证了方法的轻量化和实用性。与现有方法相比，本专利技术提供的上述方法不需要任何检测、分割、预处理环节，因此模型可被端到端训练；同时能自动生成注意力分布图，因此具有更好的泛化性；此外，完全基于2D卷积神经网络，速度快，精度高，平均评估误差在4.1个月内。基于本专利技术实施例上述方案获得的骨龄评估值，由于其具有较高的精度可以应用在各领域，比如，体育领域或者科研领域等，但是，具体应用方向本专利技术不做限定。通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例可以通过软件实现，也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解，上述实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM本文档来自技高网...

【技术保护点】
1.一种基于卷积神经网络和多重注意力机制的骨骼年龄评估方法，其特征在于，包括：/n构建包含主干网络与多重注意力模块的神经网络；/n训练阶段，主干网络输入为掌骨影像，通过特征提取器获得特征图F，基于特征图F得到骨龄回归值；多重注意力模块输入为特征图F，经通过压缩操作与注意力图拆分操作得到M个子注意力图，每个子注意力图再与特征图F点乘，基于点乘结果得到对应的骨龄回归值；结合主干网络与多重注意力模块得到的骨龄回归值，采用多任务学习策略训练神经网络；/n测试阶段，将待测掌骨影像输入至训练后的神经网络中，通过其中主干网络得到骨龄评估值。/n

【技术特征摘要】
1.一种基于卷积神经网络和多重注意力机制的骨骼年龄评估方法，其特征在于，包括：
构建包含主干网络与多重注意力模块的神经网络；
训练阶段，主干网络输入为掌骨影像，通过特征提取器获得特征图F，基于特征图F得到骨龄回归值；多重注意力模块输入为特征图F，经通过压缩操作与注意力图拆分操作得到M个子注意力图，每个子注意力图再与特征图F点乘，基于点乘结果得到对应的骨龄回归值；结合主干网络与多重注意力模块得到的骨龄回归值，采用多任务学习策略训练神经网络；
测试阶段，将待测掌骨影像输入至训练后的神经网络中，通过其中主干网络得到骨龄评估值。


2.根据权利要求1所述的一种基于卷积神经网络和多重注意力机制的骨骼年龄评估方法，其特征在于，所述主干网络的特征提取器通过卷积神经网络实现，获得特征图F后经过全局平均池化得到特征向量vBN，再经全连接操作Φ(·)得到骨龄回归值EBN。


3.根据权利要求1所述的一种基于卷积神经网络和多重注意力机制的骨骼年龄评估方法，其特征在于，主干网络的损失为回归损失，表示为：



其中，gt为骨龄真实值，freg为L1损失函数freg(x,y)＝|x-y|，EBN为主干网络得到的骨龄回归值。

【专利技术属性】
技术研发人员：谢洪涛，张勇东，孙军，刘传彬，毛震东，
申请(专利权)人：中国科学技术大学，安徽省儿童医院安徽省新华医院，安徽省儿科医学研究所，
类型：发明
国别省市：安徽;34