基于联合全局及局部卷积神经网络特征的双骨龄评估方法技术

本申请提出了一种基于联合全局及局部卷积神经网络特征的双骨龄评估方法，所述方法包括：获取测试者对应的手骨全图、性别信息以及从手骨全图中提取出的对应每个待评级骨骺区域的骨骺区域图像；结合骨龄评估任务和解剖学局部骨骺区域的成熟度评级任务来同时利用全局特征和局部特征，从而提升骨龄评估方法的性能。能。能。

【技术实现步骤摘要】
基于联合全局及局部卷积神经网络特征的双骨龄评估方法


[0001]本申请涉及图像处理
，特别是涉及基于联合全局及局部卷积神经网络特征的双骨龄评估方法。

技术介绍

[0002]骨龄评估是一项常见的临床诊断，它旨在评估人体骨骼的生物学成熟度。准确的骨龄评估不但是估计个人最终身高的重要指标，也是辅助小儿内分泌科和小儿骨科疾病的诊断治疗的有力工具。
[0003]目前骨龄评估的主流方法都是基于非惯用手（通常是左手）的手部X光图像，常用的骨龄评估方法是 GP图谱法、TW计分法和国内衍生出来的中华05计分法。GP图谱法法是将个人的手部 X 光片与不同骨龄的参考图像进行比较而获得骨龄估计；TW计分法和中华05计分法是对手部不同的解剖学骨骺区域进行成熟度评级并综合这些区域所有评分的评分系统。其中，GP图谱法是基于整体的方法，因其操作相对简便所以在临床诊断中流行；中华05计分法是根据RUS（桡尺、掌指骨）为针对中国青少年而制定的评分系统，所以最适合中国青少年的骨龄情况。然而，这些方法都需要放射科医生手动完成，整个过程耗时费力，且依赖于医生的临床专业知识，这大大约束了临床诊断的效率。随着机器学习技术的发展，一些自动化的骨龄评估方法应运而生。比起传统的机器学习方法，深度学习中的卷积神经网络（CNN）能从图像中自动提取出丰富的特征进行分析，因此在最近几年的图像分析领域获得了广泛的应用。
[0004]对于骨龄评估，对整体手部和局部骨骺的关注都是有必要的。现有的基于深度学习的骨龄评估方法要么是以整个手部X光图像作为输入，主要利用全局特征来获取骨龄估计而没有充分考虑到一些局部骨骺区域对骨龄评估的重要性；要么是模仿TW打分系统，对手部不同的局部骨骺区域进行成熟度评级，然后汇总所有评分得到最后的打分，但这却忽视了全局的特征。因此，目前亟待专利技术一种更有效的骨龄评估方法，以解决目前根据图像分析得出骨龄评估度的准确度低的问题。

技术实现思路

[0005]本申请实施例提供了基于联合全局及局部卷积神经网络特征的双骨龄评估方法，结合骨龄评估任务和解剖学局部骨骺区域的成熟度评级任务来同时利用全局特征和局部特征，从而提升骨龄评估方法的性能。
[0006]第一方面，本申请实施例提供了一种基于联合全局及局部卷积神经网络特征的双骨龄评估方法，所述方法包括：获取测试者对应的手骨全图、性别信息以及从手骨全图中提取出的对应每个待评级骨骺区域的骨骺区域图像；构建联合全局及局部卷积神经网络特征的双骨龄预测模型，双骨龄预测模型包含第一卷积神经网络、第二卷积神经网络和GCN网络，第一卷积神经网络用于全图特征提取，第二卷积神经网络和GCN网络用于局部特征提取，双骨龄预测模型通过
GP图谱骨龄全局监督和RUS成熟度局部监督联合训练框架逐步交替训练获得；根据双骨龄预测模型的第一卷积神经网络对手骨全图进行卷积网络特征提取操作，得到手部骨骼全局特征；根据双骨龄预测模型的全连接层从性别信息中提取出目标性别特征；根据双骨龄预测模型的局部特征提取网络依次对每个骨骺区域图像进行卷积网络特征提取操作，得到每个骨骼区域图像对应的骨骺局部特征；将手部全局特征、目标性别特征以及所有骨骺局部特征拼接成一维融合特征；对融合特征进行回归操作得到手骨全图的图谱骨龄评估分布图，基于图谱骨龄评估分布图确定GP图谱骨龄评估结果；将所有骨骺局部特征输入到图卷积神经网络获得骨骺深加工局部特征，对每个骨骺深加工局部特征局部特征进行回归操作得到每个骨骺区域图像对应的RUS评估分布图，基于每个RUS评估分布图确定一个RUS成熟度值，并通过汇总所有RUS成熟度值获得RUS骨龄评估结果。
[0007]在其中一个可行实施例中，第一卷积神经网络以多张手骨全图样本作为输入，以骨龄确定值作为监督对第一卷积神经网络进行训练得到，其中骨龄确定值由GP图谱法进行确定。
[0008]在其中一个可行实施例中，第二卷积神经网络以同一手骨全图中固定生物解剖位置的待评级骨骺区域图像样本作为输入，以骨骺区域RUS成熟度确定值作为监督对第二卷积神经网络进行训练得到，其中骨骺区域RUS成熟度确定值由RUS计分法进行确定。
[0009]在其中一个可行实施例中，“将手部全局特征、目标性别特征以及所有骨骺局部特征拼接成一维融合特征”包括：将目标性别特征与手部全局特征通过第一全连接层进行拼接，得到第一拼接特征，将第一拼接特征输入到全连接层并与拷贝来的所有骨骺局部特征进行拼接得到一维融合特征。
[0010]在其中一个可行实施例中，所述方法还包括：每一个局部骨骺图依次输入第二卷积神经网络中并共享网络权值，然后同时输入到GCN网络进行信息交换和融合，输出包含上下文信息的深加工局部特征，基于深加工特征进行回归操作得到对应的骨骺区域的RUS成熟度评估分布图。
[0011]在其中一个可行实施例中，“基于深加工特征进行回归操作得到对应的骨骺区域的RUS成熟度评估分布图”包括：将N个骨骺局部特征，输入GCN网络获得N个深加工局部特征；将每个深加工局部特征分别与拷贝的性别特征拼接获得第二拼接特征，将所有第二拼接特征进行回归操作得到对应的骨骺区域的RUS成熟度评估分布图。
[0012]在其中一个可行实施例中，骨骺区域图像的获取步骤包括：对手骨全图样本进行手部关键点检测，得到多个根据固定生物解剖位置的关键点坐标，根据关键点坐标裁切出对应的骨骺区域图像。
[0013]在其中一个可行实施例中，获取关键点坐标中的手指掌骨两端关键点，以手指掌骨两端关键点连线方向将手骨全图样本旋转至中指掌骨两端关键点连线方向垂直于水平方向的方向获得矫正手部图像，其中，该矫正手部图像是标准化的手骨全图；以关键点为中心，根据预设长宽比例在矫正手部图像中裁剪出对应的骨骺区域图像。
[0014]第二方面，本申请实施例提供了一种基于多任务卷积神经网络的骨龄评估装置，包括：获取模块，用于获取测试者对应的手骨全图、性别信息以及从手骨全图中提取出的对应每个待评级骨骺区域的骨骺区域图像；模型构建模块，用于构建联合全局及局部卷积神经网络特征的双骨龄预测模型，双骨龄预测模型包含第一卷积神经网络、第二卷积神经网
络和GCN网络，第一卷积神经网络用于全图特征提取，第二卷积神经网络和GCN网络用于局部特征提取，双骨龄预测模型通过GP图谱骨龄全局监督和RUS成熟度局部监督联合训练框架逐步交替训练获得；全局特征提取模块，用于根据双骨龄预测模型的第一卷积神经网络对手骨全图进行卷积网络特征提取操作，得到手部骨骼全局特征；性别特征提取模块，用于根据双骨龄预测模型的全连接层从性别信息中提取出目标性别特征；局部特征提取模块，用于根据双骨龄预测模型的局部特征提取网络依次对每个骨骺区域图像进行卷积网络特征提取操作，得到每个骨骼区域图像对应的骨骺局部特征；融合模块，用于将手部全局特征、目标性别特征以及所有骨骺局部特征拼接成一维融合特征；GP图谱骨龄评估模块，用于对融合特征进行回归操作得到手骨全图的图谱骨龄评估分布图，基于图谱骨龄评估分布图确定GP图谱骨龄评估结果；RUS骨龄评估模块本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于联合全局及局部卷积神经网络特征的双骨龄评估方法，其特征在于，所述方法包括：获取测试者对应的手骨全图、性别信息以及从手骨全图中提取出的对应每个待评级骨骺区域的骨骺区域图像；构建联合全局及局部卷积神经网络特征的双骨龄预测模型，双骨龄预测模型包含第一卷积神经网络、第二卷积神经网络和GCN网络，第一卷积神经网络用于全图特征提取，第二卷积神经网络和GCN网络用于局部特征提取，双骨龄预测模型通过GP图谱骨龄全局监督和RUS成熟度局部监督联合训练框架逐步交替训练获得；根据双骨龄预测模型的第一卷积神经网络对手骨全图进行卷积网络特征提取操作，得到手部骨骼全局特征；根据双骨龄预测模型的全连接层从性别信息中提取出目标性别特征；根据双骨龄预测模型的局部特征提取网络依次对每个骨骺区域图像进行卷积网络特征提取操作，得到每个骨骼区域图像对应的骨骺局部特征；将手部全局特征、目标性别特征以及所有骨骺局部特征拼接成一维融合特征；对融合特征进行回归操作得到手骨全图的图谱骨龄评估分布图，基于图谱骨龄评估分布图确定GP图谱骨龄评估结果；将所有骨骺局部特征输入到图卷积神经网络获得骨骺深加工局部特征，对每个骨骺深加工局部特征局部特征进行回归操作得到每个骨骺区域图像对应的RUS评估分布图，基于每个RUS评估分布图确定一个RUS成熟度值，并通过汇总所有RUS成熟度值获得RUS骨龄评估结果。2.根据权利要求1所述的基于联合全局及局部卷积神经网络特征的双骨龄评估方法，其特征在于，第一卷积神经网络以多张手骨全图样本作为输入，以骨龄确定值作为监督对第一卷积神经网络进行训练得到，其中骨龄确定值由GP图谱法进行确定。3.根据权利要求1所述的基于联合全局及局部卷积神经网络特征的双骨龄评估方法，其特征在于，第二卷积神经网络以同一手骨全图中固定生物解剖位置的待评级骨骺区域图像样本作为输入，以骨骺区域RUS成熟度确定值作为监督对第二卷积神经网络进行训练得到，其中骨骺区域RUS成熟度确定值由RUS计分法进行确定。4.根据权利要求1所述的基于联合全局及局部卷积神经网络特征的双骨龄评估方法，其特征在于，“将手部全局特征、目标性别特征以及所有骨骺局部特征拼接成一维融合特征”包括：将目标性别特征与手部全局特征通过第一全连接层进行拼接，得到第一拼接特征，将第一拼接特征输入到全连接层并与拷贝来的所有骨骺局部特征进行拼接得到一维融合特征。5.根据权利要求1所述的基于联合全局及局部卷积神经网络特征的双骨龄评估方法，其特征在于，所述方法还包括：每一个局部骨骺图依次输入第二卷积神经网络中并共享网络权值，然后同时输入到GCN网络进行信息交换和融合，输出包含上下文信息的深加工局部特征，基于深加工特征进行回归操作得到对应的骨骺区域的RUS成熟度评估分布图。6.根据权利要求5所述的基于联合全局及局部卷积神经网络特征的双骨龄评估方法，其特征在于，“基于...

【专利技术属性】
技术研发人员：何林阳，季红丽，程国华，
申请(专利权)人：杭州健培科技有限公司，
类型：发明
国别省市：