一种基于图卷积神经网络的骨龄评测方法、系统、终端及存储介质技术方案

本申请所提供的一种基于图卷积神经网络的骨龄评测方法、系统、终端及存储介质，所述方法包括：获取手腕骨影像的N个目标骨骺；采用特征提取网络模型，提取手腕骨影像的N个目标骨骺及其附近区域的初始特征X；采用基于图卷积网络的上下文特征融合网络模型，将初始特征X和经过多层图卷积后的上下文特征相加，得到最终的融合特征

【技术实现步骤摘要】
一种基于图卷积神经网络的骨龄评测方法、系统、终端及存储介质
本申请涉及骨龄评测
，尤其是涉及一种基于图卷积神经网络的骨龄评测方法、系统、终端及存储介质。
技术介绍
骨龄是评价青少年及儿童生物年龄的主要方法，应用于临床医学、法医学和运动学等领域。计分法骨龄标准(如《中华-05》骨龄标准、TW3骨龄标准)规定对手腕骨的桡骨、尺骨以及其他短指骨分别进行发育等级评测。骨龄片拍摄质控要求取左手正位，五指舒展，避免关节弯曲；拍摄后，分别对每处骨化中心进行发育等级评分，并将算出相应分数总和，查表得出最终骨龄。需要注意的是，对于每处骨化中心，其成熟等级类别数存在差异。比如中华05标准中，发育等级最少的是远节指骨，只有11个等级；最多的是桡骨，有15个等级。而且发育等级与分数之间不是线性关系，一般而言，发育等级越高，相邻等级对应分数差别越大，医生错判带来的误差也会越大。骨龄评测的第一个难点是非规范的骨龄拍摄。实际操作中，作为骨龄评测的主要受众，青少年儿童可能会不配合、不听从医嘱，手掌姿势不合规范或生长异常，导致对应部位的骨骺形态发生变化(比如旋转、形变、被遮挡)，对精确骨龄评测造成困难。另一个难点是现有标准下内生的“等级二义性”。无论是国际TW3标准，还是国内CHN05标准，发育等级都是离散的。但实际上，骨骼发育具有时间连续性，其真实发育程度落在现有标准的两个离散等级之间，导致医生难以准确评判。对于上述问题，医学专家通常难以直接给该部位的成熟等级给出准确评测，而采取借鉴邻近部位的骨化中心的生长程度来进行综合考量，该行为的合理性在于邻近部位的骨化中心在生长模式上有高度相关性。现有技术中利用机器学习进行自动化骨龄评测的技术，如“基于卷积神经网络的全自动骨龄评定方法”，通过利用资料库中的手腕骨X线片进行标准化预处理，准备训练集；构建并训练卷积神经网络；利用训练好的卷积神经网络对新的骨龄片进行数据处理，得到骨龄评定结果。再有现有技术中CN201910231284.8公开的“一种基于概率的骨龄计算方法”，通过获取深度学习模型对左手各个骨头的分类等级及对应的概率的基础上，选择可能性最高的2个等级及对应的概率，通过归一化概率与各个骨头等级对应的分值相乘获得各自的分值，再相加获得该块骨头最终的分值，根据CHN法分值表查表得到骨龄。在TW3标准下，在挖掘出目标骨骺区域后，仅仅根据单个骨骺的特征对该骨骺进行评级，忽视了其他骨骺区域的信息，且该方法适用于拍摄效果理想、发育正常的骨龄影像，对于拍摄手掌姿势不规范的而发生旋转、变形的骨骺，或者出现生长异常的骨骺，必须参考其他骨骺发育特征，才能对该骨骺进行鲁棒的发育等级评价。因此，现有技术普遍将骨龄评级处理为简单的分类或回归问题，认为骨龄的金标准为单一整数值，忽视了等级的二义性。因而，现有技术的缺点为主要是：1)没有深入考虑某些情况(诸如生长异常或手掌姿势不规范)下骨骺形态特征变化对于评级准确性的影响；2)评级仅根据单一骨骺区域的特征，忽视了其他骨骺区域提供的上下文信息；3)没有考虑骨龄金标准的内生二义性对于骨龄评测模型训练的影响。因此，亟需一种基于图卷积神经网络的骨龄评测方法、系统、终端及存储介质，以解决骨龄评测的标注任务中由于生长异常或手掌姿势不规范导致的骨骺形态发生变化，以及骨龄评测标准下骨骺发育程度只能归类到有限等级上导致标注具有二义性的问题，实现骨龄评测的精确性和鲁棒性。
技术实现思路
针对现有技术的不足，本申请提供一种基于图卷积神经网络的骨龄评测方法、系统、终端及存储介质，解决了现有技术中骨龄评测的标注任务中普遍存在由不规范手掌姿势或佩戴饰物导致骨骼拍摄片不规范，以及骨龄评测标准下骨骺发育程度只能归类到有限等级上导致标注具有二义性等问题。为解决上述技术问题，第一方面，本申请提供一种基于图卷积神经网络的骨龄评测方法，包括：获取手腕骨影像的N个目标骨骺，其中，N是等于或大于2的整数；采用特征提取网络模型，提取手腕骨影像的N个目标骨骺及其附近区域的初始特征X；采用基于图卷积网络的上下文特征融合网络模型，将初始特征X和经过多层图卷积后的上下文特征相加，得到最终的融合特征将所述融合特征输入至预测分布网络模型，预测得到N个目标骨骺的发育等级分布，并相应计算发育等级期望和方差、发育分数期望、骨成熟度总分；利用预测的发育等级和计算的骨成熟度总分，根据骨龄标准计算得到最终骨龄预测值。可选的，所述获取手腕骨影像的N个目标骨骺，包括：获取X线手腕骨正位片；采用基于关键点检测、目标检测或实例分割的定位网络模型，定位出X线手腕骨正位片中的N个目标骨骺位置。可选的，所述采用基于图卷积网络的上下文特征融合网络模型，将初始特征X和经过多层图卷积后的上下文特征相加，得到最终的融合特征包括：构建手腕骨N个目标骨骺的特征融合拓扑图；将特征融合拓扑图的图邻接矩阵进行归一化处理，构建图卷积网络模型；采用图卷积网络模型对初始特征进行图卷积，得到上下文特征；采用目标特征融合网络模型，以残差学习的方式将初始特征X和上下文特征进行相加，得到最终的融合特征可选的，所述将特征融合拓扑图的图邻接矩阵进行归一化处理，构建图卷积网络模型，包括：构建手腕骨N个目标骨骺的特征融合拓扑图，记为G(V,E,A)，其中，V是势为N的顶点集，E是边集，A∈RN×N是邻接矩阵；将特征融合拓扑图的图邻接矩阵A∈RN×N加自连接得到其中，IN为单位阵，对线元素为1；计算出度矩阵计算得到邻接矩阵根据邻接矩阵构建图卷积网络模型，其中，图卷积的函数定义为：其中，Xl∈RN×C是作为输入的骨骺特征矩阵，Θ∈RC×F是GCN需要学习的卷积核参数，f表示非线性的激活函数。可选的，所述将所述融合特征输入至预测分布网络模型，预测得到N个目标骨骺的发育等级分布，并相应计算发育等级期望和方差、发育分数期望、骨成熟度总分，包括：将基于医生标注的N个样本骨骺的发育等级进行标签平滑处理，生成高斯分布作为医生标注分布；将所述N个样本骨骺的融合特征输入至预测分布网络模型获取模型预测分布；根据所述模型预测分布和医生标注分布，利用骨成熟度总分损失函数训练所述分布网络模型；将所述N个目标骨骺的融合特征输入至预测分布网络模型，预测得到N个目标骨骺的发育等级分布，并相应计算发育等级期望和方差、发育分数期望、骨成熟度总分。可选的，所述利用预测的发育等级和计算的骨成熟度总分，根据骨龄标准计算得到最终骨龄预测值，包括：利用预测的发育等级和计算的骨成熟度总分，采用计分法得到最终骨龄预测值。第二方面，本申请还提供一种基于图卷积神经网络的骨龄评测系统，包括：获取单元，配置用于获取手腕骨影像的N个目标骨骺，其中，N是等于或大于2的整数；特征提取单元，配置用于采用特征提取网络模型，提取手腕骨影像的N个目标骨骺及其附近区域的初始特征X；...

【技术保护点】
1.一种基于图卷积神经网络的骨龄评测方法，其特征在于，包括：/n获取手腕骨影像的N个目标骨骺，其中，N是等于或大于2的整数；/n采用特征提取网络模型，提取手腕骨影像的N个目标骨骺及其附近区域的初始特征X；/n采用基于图卷积网络的上下文特征融合网络模型，将初始特征X和经过多层图卷积后的上下文特征相加，得到最终的融合特征

【技术特征摘要】
1.一种基于图卷积神经网络的骨龄评测方法，其特征在于，包括：
获取手腕骨影像的N个目标骨骺，其中，N是等于或大于2的整数；
采用特征提取网络模型，提取手腕骨影像的N个目标骨骺及其附近区域的初始特征X；
采用基于图卷积网络的上下文特征融合网络模型，将初始特征X和经过多层图卷积后的上下文特征相加，得到最终的融合特征
将所述融合特征输入至预测分布网络模型，预测得到N个目标骨骺的发育等级分布，并相应计算发育等级期望和方差、发育分数期望、骨成熟度总分；
利用预测的发育等级和计算的骨成熟度总分，根据骨龄标准计算得到最终骨龄预测值。


2.根据权利要求1所述的基于图卷积神经网络的骨龄评测方法，其特征在于，所述获取手腕骨影像的N个目标骨骺，包括：
获取X线手腕骨正位片；
采用基于关键点检测、目标检测或实例分割的定位网络模型，定位出X线手腕骨正位片中的N个目标骨骺位置。


3.根据权利要求1所述的基于图卷积神经网络的骨龄评测方法，其特征在于，所述采用基于图卷积网络的上下文特征融合网络模型，将初始特征X和经过多层图卷积后的上下文特征相加，得到最终的融合特征包括：
构建手腕骨N个目标骨骺的特征融合拓扑图；
将特征融合拓扑图的图邻接矩阵进行归一化处理，构建图卷积网络模型；
采用图卷积网络模型对初始特征进行图卷积，得到上下文特征；
采用目标特征融合网络模型，以残差学习的方式将初始特征X和上下文特征相加，得到最终的融合特征


4.根据权利要求3所述的基于图卷积神经网络的骨龄评测方法，其特征在于，所述将特征融合拓扑图的图邻接矩阵进行归一化处理，构建图卷积网络模型，包括：
构建手腕骨N个目标骨骺的特征融合拓扑图，记为G(V,E,A)，其中，V是势为N的顶点集，E是边集，A∈RN×N是邻接矩阵；
将特征融合拓扑图的图邻接矩阵A∈RN×N加自连接得到其中，IN为单位阵，对线元素为1；
计算出度矩阵
计算得到邻接矩阵
根据邻接矩阵构建图卷积网络模型，其中，图卷积的函数定义为：其中，Xl∈RN×C是作为输入的骨骺特征矩阵，Θ∈RC×F是GCN需要学习的卷积核参数，f表示非线性的激活函数。


5.根据权利要求1所述的基于图卷积神经网络的骨龄评测方法，其特征在于，所述将所述融合特征输入至预测分布网络模型，预测得到N个目标骨骺的发育等级分布，并相应计算发育等级期望和方差、发育分数期望、骨成熟度总分，包括：
将基于医生标注的N个样本骨骺的发育等级进行标签平滑处理，生成高斯分布作为医生标注分布；
将所述N个样本骨骺的融合特征输入至预测分布网络模型获取模型预测分布；
根据所述模型预测分布和医生标注分布，利用骨成熟度总分损失函数训练所述分布网络模型；
将所述N个目标骨骺的融合特征输入至预测分布网络模型，预测得到N个目标骨骺的发育等级分布，并相应计算发育等级期望和方差、发育分数期望、骨成熟度总分。


6.根据权利要求1所述的基于图卷积神经网络的骨龄评测方法，其特征在于，利用预测的发育等级和计算的骨成熟度总分，采用计分法得到最终骨龄预测值。


7.一种基于图卷积神经网络的骨龄评测系统，其特征在于，包括：
获取单元，配置用于获取手腕骨影像的N个目标骨骺，其中，N是等于或大于2的整数；
特征提...

【专利技术属性】
技术研发人员：宫平，尹子昊，俞益洲，
申请(专利权)人：杭州深睿博联科技有限公司，北京深睿博联科技有限责任公司，
类型：发明
国别省市：浙江;33